Ban od Google na sprawdzanie pozycji

[michalk]

Witam!

Napisałem skrypcik do sprawdzania pozycji własnych stron w google i teraz wszystko działa prawidłowo, ale czy istnieje jakieś ominięcie blokad nakładanych przez Google? Kiedy ściagam dane z file_get_contents() po 20 próbach już mam bana.

Czy ktoś doświadczony może pomóc? Myślałem o curl z podszyciem się pod przeglądarkę przez USER_AGENT? Pomoże?

[someone]

Proxy?

[Łukasz Gugała]

Ip to Ip, niezależnie czy wjedziesz na stronę cURLem czy file_get_contents().

Musisz miec liste działających Proxy i losować. Przynajmniej ja tak mam i działa.

No i cURL na serwerze

[michalk]

zgadzam się, że ip to ip, ale u siebie na komputerze też mam jedno ip i google tego nigdy nie blokuje

[Trotyl]

Na początek sleep(rand(5,15)).

---

A ogólnie to:

-zróżnicowane przerwy pomiędzy zapytaniami

-lista DC

-lista proxy

-zmiana UA

-usuwanie ciastek

Curl bardzo przyjemnie obsługuje zmianę ip i inne potrzebne rzeczy.

Wszystko można ładnie połączyć i sprawdzać ...

[General_Depet]

Na początek sleep(rand(5,15)).

Tyle że nie każdy serwer obsługuje flusha w taki sposób by skrypt zatrzymać na czas sleepa - większość działa tak że tylko pauzuje sleepem ale żądanie nadal jest "w locie" co doprowadza jak nie trudno się domyślić do błędu o zbyt długim oczekiwaniu na wykonanie skryptu.

Jeśli masz proxy i obsługę curla to do dzieła - jak nie to pozostaje tylko cron lub przesiadka na serwer z w miarę unikalnym IP (na niektórych można spokojnie zrobić kilkadziesiąt pobrań za jednym żądaniem). Na konirc zostaje jeszcze zwykły header do stworzenia przerw między kolejnymi odpytywaniami:

header('Refresh: 3; url=twoj-adres-ze-skryptem.pl');

[k3rn3l]

Jeśli masz kilka hostingów lub możliwość umieszczenia skryptu na innyc hserwerach to zrób tak:

System sprawdzający -> HOST1

\ \

| \

HOST2 HOST3

Na tych HOST'ach umieść skrypty które sprawdzają pozycję a z głównego skryptu łącz się z nimi na zmianę lub jakimś randomem losuj z którym ma się łączyć.

Na tych HOSTACH napisz sobie jakieś proste API dzięki któremu będziesz miał łatwy dostęp do np.:

- sprawdzenia pozycji

- sprawdzenia PR

- sprawdzenia BL

Tak działa scg24.com i nie ma z tym problemu.

Używanych jest w tej chwili około 20 różnych IP a każdego dnia jest kilkaset odpytań wysyłanych.

[michalk]

k3rn3l - na to samo wpadłem co opisałeś i działa.

Jeśli komuś to kiedyś pomoże to na 5 hostach ustawiłem curle którym przekazuje dane do google, z głównego skryptu na Hoscie 1 uruchamianym z crona. Oczywiście losowanie hostow i podszywanie sie pod UA i usuwanie cookies(dzięki Trotyl).

[Mion]

Proxy z publicznych list nie gwarantuje w żaden sposób zadziałania. Jako, że jest publiczne tysiące innych userów mogą też wysyłać żądania za jego pomocą do google co za tym idzie może być czasowo zbanowane w google.

Poza tym z tą blokadą jest różnie, teraz wysłałem 200 żądań i bez bana, a kiedyś zauważyłem, że ban pojawił się tylko dla określonych zapytań.

[konrix]

A mógłbyś udostępnić ten skrypt, czy nie bardzo?