Blokowanie niechcianych robotów

[czechowsky]

Witajcie, mam pytanie odnośnie blokowania niechcianych robotów. Czy macie jakieś aktualne poradniki w jaki sposób mogę zablokować na swojej stronie roboty Majestica, Ahrefsa, Clusterica itd?

[jimmi]

oficjalnie one respektują dyrektywę noindex nofollow

czy blokowanie w robots.txt

 

[MaxPan]

. Z doświadczenia wiem blokowanie w htacces,  robots.txt nie daje pewności, że robot zostanie zablokowany. Blokować należy lub zaawansowanym nie tanim skryptem lub próbować z poziomu serwera ( na ile to skuteczne nie powiem bo dawno na serwerze nie blokowałem).

[dobre-seo]

htaccess:

Options +FollowSymlinks
RewriteEngine On
RewriteBase /

SetEnvIfNoCase User-Agent "(?:.*)nazwabota(?:.*)" bad_user

Deny from env=bad_user