Oszukać google Curl+komenda site

[mefjiu]

Zauważyłem że google ostatnio wprowadził zabezpieczenie odnośnie odpytywania go o site strony.

Nasz system pobiera ok 700 razy google dziennie o rożne domeny i subdomeny. Z 20 różnych serwerów proxy (nasze własne serwery).

Zdarza się że w ciągu dnia gogole potrafi rozpoznać, że zapytanie jest sztuczne i zwraca błąd 302 z informacją że z tej sieci było za dożo zapytań.

Czy ktoś spotkał się z czymś takim? Może jakieś rozwiązania? Liczę na na waszą pomoc

[Mion]

Zmiana IP to nie wszyto co należy zrobić by skutecznie odpytywać google. Poza tym z tego co piszesz "Nasz system pobiera ok 700 razy google dziennie o rożne domeny i subdomeny. Z 20 różnych serwerów proxy" wynika 35 zapytań na dzień z jednego IP wiec nawet bez dodatkowych zabiegów nie powiano być problemów z zapytaniami - coś macie źle wykombinowane...

[mefjiu]

W sumie nie na dzień a na 6h bo pobiera od 00:00 do 6 rano.

Tylko co może być źle zrobione? Pisałeś kiedyś coś podobnego? Może masz jakieś cenne informacje :-)

[Mion]

Może masz jakieś cenne informacje :-)

Tak, tylko, że te cenne informacje są w cenie... Nie wszystko jest "open source"

---

Co więcej - nie potrzeba nawet własnych serwerów proxy by robić taką robotę

[mefjiu]

Tak, tylko, że te cenne informacje są w cenie... Nie wszystko jest "open source" olaboga.gif

aj tam aj tam, spoko jak nic nie wskóram sam to na pewno będę się kontaktował.

Co więcej - nie potrzeba nawet własnych serwerów proxy by robić taką robotę chatownik.gif

to już cenna uwaga, ale troszkę niejasna :-(

[sorrow]

ja to rozwiązałem przez Tora oraz to iż możesz w curlu podać IP jaki ma zostać użyty.

W torze przy każdym połączaniu możesz zmienić dodatkowo węzeł tzn IP

[slawek22]

IP dedykowane?

[mefjiu]

Dzięki sorrow będę w tym kierunku kombinował.