Sprawdzanie pozycji w Google

[blublus]

Napisałem niedawno prosty skrypt do sprawdzania pozycji w Google, wykorzystujący bibliotekę CURL. Skrypt wywołuję dla kilkudziesięciu zapytań w odstępach 2-3 sekundowych. Działało przez kilka dni, a teraz pojawiła się blokada

Przepraszamy,

... ale Twoje zapytanie przypomina automatyczne żądania generowane przez wirusy komputerowe lub aplikacje typu spyware. W trosce o bezpieczeństwo użytkowników nie możemy go zrealizować.

Ma ktoś pomysł, w jaki sposób mogę obejść ten problem? Będę wdzięczny za wszelką pomoc i sugestie.

Szukałem na tym forum, szukałem na innych i oprócz komentarzy typu "znam przynajmniej kilka sposobów na rozwiązanie tego problemu" nic konkretnego nie znalazłem

[relons]

Rozwiązania są dwa:

1) Wywołuj zapytania rzadziej

2) Zainstaluj sobie tora, przez którego będziesz wywoływał zapytania co jakiś czas i którego co jakiś czas będziesz restartował, żeby zmienić IP

Nie wiem też, czy nie można uzyskać klucza do API google, który pozwoliłby na wykonywanie częstszych zapytań.

[Mion]

A co niby ma dać ten tor jak aplikacja siedzi na serwerze i google "widzi" zawsze IP serwera który wysyła żądanie za pomocą CURL, a nie IP kompa usera.

Możesz kombinować z proxy, ale wątpię czy znajdziesz jakieś wystarczająco długo czynne, a już nie zblokowane przez google.

Kolejna opcja to system rozproszony na wielu serwerach.

[k3rn3l]

zrob tak:

napisz soft ktory bedzie sprawdzal pozycje ale w API daj mu mozliwosc zdefiniowania parametrow w URL.

Umiesc ten soft na kilku serwerach i odpytuj np. losowo rozne swoje serwery (ten soft) o pozycje a soft Ci niech zwraca ladnie info i to info pozniej jakos obrabiaj...

[verSuS]

zrob tak:

napisz soft ktory bedzie sprawdzal pozycje ale w API daj mu mozliwosc zdefiniowania parametrow w URL.

Umiesc ten soft na kilku serwerach i odpytuj np. losowo rozne swoje serwery (ten soft) o pozycje a soft Ci niech zwraca ladnie info i to info pozniej jakos obrabiaj...

sprawdzam ponad tysiac fraz w ciagu godziny za pomoca curla i nie mam zadnych problemow.

jedno ip, odpytywany adres google.pl

Mysle ze w moim przypadku zadzialalo ustawienie losowego ua i referera.

[k3rn3l]

Ja sprawdzalem okolo 100-150 i tez nie mialem problemu teraz mam rozproszone na roznych IP (dla swietego spokoju), wiec ciezko mi odpowiedziec co ile blokuja i jakie sa reguly.....

[Maximus Marius]

A co niby ma dać ten tor jak aplikacja siedzi na serwerze i google "widzi" zawsze IP serwera który wysyła żądanie za pomocą CURL, a nie IP kompa usera.

Możesz kombinować z proxy, ale wątpię czy znajdziesz jakieś wystarczająco długo czynne, a już nie zblokowane przez google.

Kolejna opcja to system rozproszony na wielu serwerach.

Przecież tor jest pewnego rodzaju proxy (tylko takim rozproszonym ) jezeli wysyłać by zapytania z CURL-a przez siec TOR to na pewno widziany by był przez google ostatni wezeł a nie komputer na którym jest oprogramowanie. Inna sprawa ze tor jest wolnyyyyyyyy. I kilka innych problemów technicznych raczej nie ulatwiają tej metody.

Przykład systemu rozproszonego (w duzym skrócie myslowym ) :

<?

echo(get_file_contents("https://www.google.com/search?q=".base64_decode($_GET['cos']));

?>

Inna sprawa ze IP nie koniecznie musi być aż tak ważny , może wazniejsze jest sposób w jaki sie odpytuje, jak czesto czy są klikniecia itp.

[Qbexus]

Najlepiej pytać tylko o pierwsze 100 wyników dalej niestety jest niebezpiecznie tor+ zmienny ref i ua swietnie sobie radzą.

P.s. Tora podpina sie do curl-a zamiast proxy.

[Jaason^312]

to teraz mam pytanie jak zmienić za każdym zapytaniem HTTP_REFER i HTTP_USER_AGENT ??

[Jaason^312]

moje pytanie wciąż aktualne

[craker]

użyj ZF a dokładniej klasy Zend_HTTP_Client

[Qbexus]

Poczytaj o curl proste jak konstrukcja cepa.

[verSuS]

refa nie musisz zmieniac za kazdym razem. ustaw poprostu https://www.google.pl

[Mar]

Dodam, że bardzo ważną rolę odgrywa IP serwera z którego się skrypt łączy, i tak na niektórych serwerach można odpytywać na okrągło (w pewnych granicach) a na niektórych już np. po 100 zapytaniach na dobę pada ban. Jeśli ktoś nie ma za dużo serwerów, można do tego wykorzystać darmowe, dziś większość z nich obsługuje funkcję curl, a dzięki temu zyskujemy dodatkowy adres IP.

Mar.

[xradar]

To ja się jeszcze podczepię pod temat.

Standardowo Google wyświetla 10 wyników na stronę, możemy jednak dodać parametr w GET typu num=100 i pojawi się nam 100 wyników. Moje pytanie to - czy wyświetlenie 100 wyników traktowane jest też jako JEDNO ZAPYTANIE?

Jak robicie w swoich skryptach? Pobieracie od razu 100 czy kolejne strony po 10?