Lista potrzebnych botów.

[stachel94]

Witam!

Chciałem zablokować dostęp botów do mojej strony, ponieważ generowały bardzo duży ruch.

Wrzuciłem więc na serwer plik robots.txt z następująca treścią:

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /

Zmniejszyło to bardzo ruch, ale niestety zablokowało dostęp dla robotów, oprócz Google. Chciałbym więc zapytać, które boty warto odblokować, i jakie są ich nazwy.

Jak na razie udało mi się utworzyć taką krótką listę, ale nie znam nazw botów:

*Yahoo

*Netscape

*Bing

*WP

*Onet

*Gooru

*Szukacz

*Interia

Mam nadzieję, że mi pomożecie.

Chciałbym także, aby wszystkie boty korzystały z SiteMap, jednak nie wiem, jak ją dodać. Dodałem do Google moją SiteMapę, jednak po ok. 12 godzinach nie ma nawet jednego zindeksowanego linku. Link do strony mam na innym forum, w katalogu Seo Pieka i w wymianie banerami.

[Dominik23]

https://www.forum.optymalizacja.com/lofiver....php/t6125.html

https://www.forum.optymalizacja.com/szukaj....;sa=Szukaj#1183

[tix]

A czy Googlebot oznacza wszsytkie boty google czy tylko ten który indeksuje strony do przeglądarki? I jak się oznacza bota Adsense? Czy w ten sposób?:

User-agent: AdSense Bot

Allow: /