Blokada w Google przy wielu zapytaniach

[Kuzyn Horhe]

Pracuje właśnie nad skryptem sprawdzający pozycje, IP itp. w Google i sobie przypomniałem, że przy zbyt dużej liczbie zapytań Google ponoć blokuje dostęp uznając, że to wirus. Żeby mnie takie coś nie spotkało chciałbym się dowiedzieć, czy są jakieś bezpieczne granice przy dużej liczbie zapytań. Może ktoś robił testy i wie mniej więcej na ile można sobie pozwolić.

PS.Czy istnieje takie ograniczenie w msn i Yahoo?

[Artur]

Poczytaj o API dla googla, ewentualnie używaj zapytań przez proxy

[Kuzyn Horhe]

Przy szukaniu z użyciem API nie są za wiarygodne wyniki (zawsze jakieś dziwne są), a ja będę chciał przeszukiwać różne dc i mieć jak najbardziej dokładne wyniki. Przez proxy można, ale nie chce za bardzo mi się w to bawić bo mogą np. nie działać.

Nie będzie tych zapytań tak wiele, więc raczej będę je na własnym komputerze wykonywał i tylko chciałbym się upewnić czy wszystko będzie działać dobrze.

[intruder2600]

blokuje dostęp uznając, że to wirus.

nie - blokuja dostep uznajac ze to SPAMER

Konsekwencje sa niewesole - domena z ktorej odpytywalismy przez 4h bez przerwy dostala banana :]

[.Grzesiek]

domena? fajnie, zaraz ustawie revdns i odstrzele konkurencje

[marcin_dance]

Ze co?

To jak bede sprawdzał pozycje mojej domeny przez 4 godziny to dostane bana?

[admin]

Moze ktos zdaje sobie sprawe czy pomoze w kwestii banu jezeli bede odczytywal rozne DC??

[Lesiu]

Konsekwencje sa niewesole - domena z ktorej odpytywalismy przez 4h bez przerwy dostala banana :]

Mam wrazenie, ze ja zrozumialem to troche inaczej niz forumowicze, ktorzy juz zdazyli odpowiedziec. Intruder napisal, ze domena, z ktorej odpytywali zostala zbanowana.

[breja]

ja robie tak:

1 ze sporej listy sprawdzam ktore DC sa aktywne i robie tymczasowa liste aktywnych DC

2 losowo odpytuje DC z listy aktywnych

lista ma chyba 300 DC wiec odpytywac mozna duzo

[Wojtek Z.]

domena z ktorej odpytywalismy przez 4h bez przerwy dostala banana

heh gdyby tak było to by nam sie index zdziesiatkował

[Kuzyn Horhe]

Ja bym raczej odpytywał najwyżej kilka razy dziennie (kilkadziesiąt słów i kilkanaście domen) więc raczej nie będzie to 4h bez przerwy .

Czy w takim razie wywoływanie skryptu z localhosta będzie bezpieczne?

[mkr]

Bedzie bezpieczne. Jednorazowo dziennie wysyłam okolo 1000 - 5000 zapytań do roznych wyszukiwarek ( https://www.seo.web-tools.pl/ ). Problemy spotkałem jedynie przy Yahoo.

[michal]

Problemy spotkałem jedynie przy Yahoo

A ja przy MSN, ban na IP.

[LinkMe.pl]

czesc

- mozesz zrobic odstepy miedzy kolejnymi zapytaniami

- mozesz sciagac dane poprzez feeda rrs (polecam !! bardzo szybkie i brak limitow)

- api ale wiadomo, limity , trzeba miec wiele api keys

- dobrym rozwiazaniem jest gdy uzywasz wielu dc ale wiadomo.. rozne DC's wiec i wyniki moga sie roznic..

co do banowania, nigdy nie zbanowali domeny.. chyba ktos chcial napisac ze IP..

blokuja IP ale na kilka godzin.. (przewaznie) po czym znow mozesz ssac

co do yahoo - jest blokoada na 500 zapytan chyba w ciagu godziny.. ale blokują tylko na 30 minut.. wiec pozniej masz znow czyste IP .. chyba ze uzywasz wielu ip

msn'a nie przerabialem bo mnie kompletnie nie interesuje (jeszcze )

pozdrawiam

[intruder2600]

Mam wrazenie, ze ja zrozumialem to troche inaczej niz forumowicze, ktorzy juz zdazyli odpowiedziec. Intruder napisal, ze domena, z ktorej odpytywali zostala zbanowana.

Dokladnie tak, wystraszylem sie ze poszlo na cale Ip i wszystko co tam mialem, na szczescie poleciala tylko domena z pod ktorej wychodzil bot.