Dopuszczenie tylko wybranych robotów

[Zybex]

witam

pytanie z pozoru może i lamerskie ale jakoś nie mogłem znaleźć odpowiedzi...

a więc wygenerowałem za pomocą narzędzia online dostęp do robotów google, yahoo, itp...

User-agent: Googlebot
Disallow: 
User-agent: googlebot-image
Disallow: 
User-agent: googlebot-mobile
Disallow: 
User-agent: MSNBot
Disallow: 
User-agent: Slurp
Disallow: 
User-agent: Teoma
Disallow: 
User-agent: twiceler
Disallow: 
User-agent: Gigabot
Disallow: 
User-agent: Scrubby
Disallow: 
User-agent: Robozilla
Disallow: 
User-agent: Nutch
Disallow: 
User-agent: ia_archiver
Disallow: 
User-agent: baiduspider
Disallow: 
User-agent: naverbot
Disallow: 
User-agent: yeti
Disallow: 
User-agent: yahoo-mmcrawler
Disallow: 
User-agent: psbot
Disallow: 
User-agent: asterias
Disallow: 
User-agent: yahoo-blogs/v3.9
Disallow:

i te roboty będą miała dostęp do całej strony, jednak czy w takiej konfiguracji blokje to dostęp wszelkim innym robotm czy aby zablokować całą resztę jeszcze muszę coś dopisać ?

może ktoś ma jakiś dobry robots.txt z jakimiś mniej popularnymi ale pomocnymi w pozycjonowaniu robotami ?

Dzięki i pozdro

[Veal]

Z przykładów na robotstxt.org wynika, że aby zablokować pozostałe boty musisz dać na końcu:

User-agent: *
Disallow: /

[spookypld]

akurat tym samym zablokujesz bota Google.

[Veal]

akurat tym samym zablokujesz bota Google

Jeśli robotx.txt byłoby interpretowane tak jak CSS (czyli, że liczy się ostatnia reguła). Wspomniana w moim poście strona podaje:

User-agent: Google
Disallow:

User-agent: *
Disallow: /

jako przykład udostępnienia strony tylko robotowi G. Sprawdziłem w Narzędziach dla webmasterów i wpis z pierwszego posta z dodanym na końcu:

User-agent: *
Disallow: /

funkcjonuje poprawnie.

[Zybex]

akurat tym samym zablokujesz bota Google

Jeśli robotx.txt byłoby interpretowane tak jak CSS (czyli, że liczy się ostatnia reguła). Wspomniana w moim poście strona podaje:

User-agent: Google
Disallow:

User-agent: *
Disallow: /

jako przykład udostępnienia strony tylko robotowi G. Sprawdziłem w Narzędziach dla webmasterów i wpis z pierwszego posta z dodanym na końcu:

User-agent: *
Disallow: /

funkcjonuje poprawnie.

dzięki zrobiłem tak jak wyżej z dodaniem zasugerowanego wpisu i jest OK

pozdro