Czy to normalne ? Robot Yahoo

[Fidma]

Ale o co chodzi z tym Yahoo, czemu tak agresywnie sobie poczyna?

Jak zablokowałeś yahoo? Czy zablokowanie nie ma ujemnego wpływu na pozycję strony?

[bumfank]

hmm true true ;-) duza wiekszosc zasobow robotowych pozera mi yahoo a wejsc z yahoo liczyc mozna w mili% ;-)

poprostu moze ten typ tak ma ;-)

[tj]

Jak? - via Robots.txt

Czy ma ujemny wpływ? Tak ma, ale tutaj chodziło o serwer.

[kataBLOG]

ja tam wolę Deny w htsccess

Z yahoo mialem malo wejsc wiec dla mnie nie problem... a ujemnego wpływu na G nie zauwarzyłem...

[Fidma]

mozesz podac co trzeba wpisac? nie znam sie za bardzo na tym

[kataBLOG]

https://www.forum.optymalizacja.com/index.php?showtopic=26186

https://www.forum.optymalizacja.com/index.php?showtopic=35561

[Kyo]

Oo.. mi tez zajdł 3Gb transferu na jednej stronie! Dostał delay - dalej szalał to dostał bana.

[radar22]

są wpisy w robots.txt

User-agent: Slurp

Crawl-delay: 1

gdzie 1 może być max 10 i jest to czas w s pomiędzy wejściami robta

dzięki temu można trochę spowolnić pracę robota - nie ubijając go całkowicie

[mkane]

dzięki temu można trochę spowolnić pracę robota - nie ubijając go całkowicie

A ja tam Yahoo potraktowałem na równi ze wszystkimi botami oprócz Google czyli won z moich serwerów (oczywiście nie dla ang. stron).

Zero tolerancji!