napad robotów?

[radar22]

witam, właśnie nie wyrabia mi baza danych ...

na stronę uparły się roboty yahoo w przeciągu 10 minut zaobserwowałem 40 robotów (z różnych IP)

jak je przekonać żeby nie tak hurtem doiły stronę?

74.6.21.173;1182199254

74.6.25.222;1182199255

74.6.74.187;1182199262

74.6.69.122;1182199275

74.6.67.159;1182199308

74.6.17.106;1182199359

74.6.20.229;1182199368

74.6.21.35;1182199403

74.6.70.183;1182199432

74.6.72.121;1182199455

74.6.68.19;1182199493

74.6.21.140;1182199494

74.6.73.46;1182199514

74.6.21.114;1182199513

74.6.20.147;1182199548

74.6.71.79;1182199536

74.6.20.103;1182199559

74.6.28.232;1182199562

74.6.72.56;1182199565

74.6.23.231;1182199579

74.6.26.34;1182199597

74.6.69.141;1182199608

74.6.73.45;1182199614

74.6.67.116;1182199606

74.6.21.37;1182199635

74.6.69.218;1182199660

74.6.68.135;1182199673

74.6.70.82;1182199679

74.6.21.135;1182199707

74.6.22.13;1182199708

74.6.87.37;1182199740

74.6.65.250;1182199748

74.6.23.135;1182199768

74.6.86.162;1182199784

74.6.19.11;1182199804

74.6.28.101;1182199813

74.6.72.52;1182199818

74.6.68.81;1182199839

74.6.29.43;1182199847

IP/time ...

[ziom]

ale to roboty które sie rejestrują i pisza psty to dodaj w profilu takie coś 10 Miesiac to : robot na to nie zna odpowiedz

[Gość]

ziom, ty już kolejne forum spamujesz bezsensownymi postami... zaliczyłeś już wszystkie fora phpbb, webtips i co będzie kolejne po forum.optymalizacja.com??

jemu chodzi o zwykłe spidery wyszukiwarki Yahoo ^^

TOPIC: Czasem nie było podobnego tematu na forum? (mogę się mylić)

[T-Web]

One mają zwyczaj uderzać z kilkudziesięciu IP. W zasadzie co za różnica dla Ciebie, czy uderzy bot z jednego IP i odwiedzi 400 podstron czy bot z 40 IP i z każdego IP 10 podstron? Dlatego na różnorodność IP nie patrz, a na to, ile podstron żrą - wtedy jakieś wnioski można wyciągać

[Fidma]

Był już taki temat o Yahoo, pamiętam bo sam go zakładałem

[Daniel Kędzierski]

Boty uderzają z różnych IP z powodu limitów na serwerach wirtualnych na ilość połączeń w zadanym czasie dla danego IP.

Gdyby bot chodził z 1 IP to po 100-200 pobraniach w zbyt krótkim czasie dostałby 403 bądź 503.

Więc wyszukiwarki chcąc zwiększyć prędkość indeksowania puszczają roboty z większej ilości IP.

Stąd jest różnica gdy bot wchodzi z 1 IP po 4000 stron a z 40 ip po 100 stron - zapewne ta durga wersja śmignie szybciej.

Lecz mając na uwadze iż większośc www jest na serwerach wirtualnych/współdzielonych gdyby nie fakt iż chodzą z różnych IP to indeksowałyby bardzo mało na danym serwerze.

[radar22]

w moim przypadku akurat żadna różnica z ilu IP indeksuje yahoo, najgorsze jednak że z wielu IP na raz ... przez co trochę baza wtedy nie wyrabiała

wygrzebałem w sieci coś specjalnego dla robotów yahoo

robots.txt

User-agent: Slurp

Crawl-delay: 1

gdzie 1 może być max 10 i jest to czas w s pomiędzy wejściami robta

[uzytkownik999]

witam, właśnie nie wyrabia mi baza danych ...

na stronę uparły się roboty yahoo w przeciągu 10 minut zaobserwowałem 40 robotów (z różnych IP)

jak je przekonać żeby nie tak hurtem doiły stronę?

74.6.21.173;1182199254

74.6.25.222;1182199255

74.6.74.187;1182199262

74.6.69.122;1182199275

74.6.67.159;1182199308

74.6.17.106;1182199359

74.6.20.229;1182199368

74.6.21.35;1182199403

74.6.70.183;1182199432

74.6.72.121;1182199455

74.6.68.19;1182199493

74.6.21.140;1182199494

74.6.73.46;1182199514

74.6.21.114;1182199513

74.6.20.147;1182199548

74.6.71.79;1182199536

74.6.20.103;1182199559

74.6.28.232;1182199562

74.6.72.56;1182199565

74.6.23.231;1182199579

74.6.26.34;1182199597

74.6.69.141;1182199608

74.6.73.45;1182199614

74.6.67.116;1182199606

74.6.21.37;1182199635

74.6.69.218;1182199660

74.6.68.135;1182199673

74.6.70.82;1182199679

74.6.21.135;1182199707

74.6.22.13;1182199708

74.6.87.37;1182199740

74.6.65.250;1182199748

74.6.23.135;1182199768

74.6.86.162;1182199784

74.6.19.11;1182199804

74.6.28.101;1182199813

74.6.72.52;1182199818

74.6.68.81;1182199839

74.6.29.43;1182199847

IP/time ...

Jak jabym chciał zeby do mnie z googla na nowe domeny w takich ilosciach przychodziły BA, miejsca by nikomu nie brakło!

[tomek_25]

@up

nie spamuj i nie cytuj całego postu.

[Gość]

I nie odkopuj tematów sprzed roku...

ps. czy u Was boty Y znowu szaleją?