Blokować roboty poza Google?lokować

[Leszczu]

Hej,

się zastanawiam, czy ma sens zablokować dostęp robotów do strony oczywiście po za Google Botem.

Czy jest sens?

Czy zostawić jeszcze jakiegoś bocika?

Rozumiem, że WSZYSTKO oprócz Goglebota blokuje się tak:

User-agent: googlebot
Disallow:

[tosik]

Ja bym powiedział, że tak:

User-agent: *

Disallow: /

User-agent: Googlebot

Disallow:

Ale w ten sposób zablokujesz tylko grzeczne roboty.

[Liderseo]

Najlepiej blokować wszystkie boty oprócz bota Bing-a, Google i Yahoo.

[Leszczu]

Ok, ale po co nam Yahoo i Bing? Gbot no to wiadomo...

[tosik]

Bing bo robi konkurencje googlowi, yahoo było do sprawdzania linków ale ostatnio mniej chętnie dzieli się swoimi wiadomościami.

[piomoo]

Pamiętajcie, że można zablokować tylko te roboty, które biorą pod uwagę wpisy w robots.txt są też niestety takie, które mają to najogólniej rzecz ujmując w d...

[pyzdera]

Blokować blokować... najlepiej w .htaccess. Sporo transferu można zaoszczędzić. Yandex, Baidu, SpeedySpider, MJbot i inne dziadostwa...

https://www.forum.optymalizacja.com/index.php?showtopic=48963

https://www.forum.optymalizacja.com/index.php?showtopic=76853

Google o tym...

[General_Depet]

Jak wyżej - bezwzględnie patrzeć w logi i blokować to co obciąża - różnica jest kolosalna w wykresie cpu

[shaun_black]

Polecisz jakieś statystyki do wyłapywania botów?

[Liderseo]

Ok, ale po co nam Yahoo i Bing? Gbot no to wiadomo...

Powiem tak Bing zawsze dostarczy nam jakiegoś tam ruchu (u mnie zazwyczaj do 4% wszystkich wejść dziennie) Yahoo pomoże ustalić ile linków ma strona ,a jeśli jest angielskojęzyczna to może wygenerować ruch i to nawet rzędu kilku tysięcy unikalnych użytkowników dziennie jeśli się postaramy ,a tematyka strony będzie odpowiednia.