jak zebrać adresy, które zostały zaindeksowane w Google?

[~luk@s~]

Czy da się jakoś zebrać listę adresów, które zostały zaindeksowane w Google dla jednej domeny?

[Xann]

site:www.towoja_domena.pl

site:towoja_domena.pl

[~luk@s~]

Xann zebrać a nie sprawdzić

potrzebna mi lista podstron, które zostały zaindeksowane.

przecież nie będę stosował metody CTR+C i CTRL+V aby stworzyć taką listę

[Trotyl]

Musiał byś to wykonać odpowiednim skryptem. Najpierw byś potrzebował listę urli strony np z gsite clawlera a potem musiał byś odpytywać o każdą podstronę google czy jest zaindeksowana czy nie. Nie wiem jakimi zasobami i jak dużą stroną dysponujesz ale na 4-5 ip możesz już odpytywać google bez przerwy przy losowym sleep np 3-7 (oczywiście rotacyjnie lub losowe ip i lista DC). Można skrócić odrobinę pracę takiego skryptu wyciągając wszystkie adresy z polecenia site i ich już nie sprawdzać.

Więc troszkę roboty przy tym jest i trochę czasu musi minąć zanim uzyskasz wyniki.

Jak duża jest strona (ile urli, ile pokazuje site) i czy masz odpowiednie zasoby i umiejętności?

e: bo jak strona ma site < 1000 to da się to szybko wykonać

BTW: właściwie po co ci to?

[stat4seo]

A nie lepiej po prostu odpytać site:domena.pl i zebrać skryptem wszystkie zwrócone adresy ?

[Trotyl]

Zależy ile to site ma ...

https://www.google.pl/search?num=100&hl...rt=900&sa=N

a dalej ...

[webraster]

Na przykład:

PHP + CURL + wyrażenia regularne

albo

PHP + file_get_contents + wyrażenia regularne

Pobierz strony G w petli za pomoca CURL albo file_get_contents,

wyciag adresy wyrażeniami regularnymi i zapisz do pliku.

Zeby sie G nie pokapowalo najlepiej przez proxy,

ja uzywam sieci Tor i jezcze nie zdarzylo mi sie zeby

mnie G zablokowalo

[mcmagik]

edit

sie machlem :/