htaccess blokowanie robotów

[Carnagge]

Coś ostatnio moje autoblogi atakuje za dużo robotów. W związku z tym mam pytanie, czy takie blokowanie w htaccess będzie poprawnie (przepisałem je z książki PiO).

RewriteEngine On
Options +FollowSymlinks
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} "caravan.ru" [OR]
RewriteCond %{HTTP_USER_AGENT} ".ru" [OR]
RewriteCond %{HTTP_USER_AGENT} "212.24.48"

RewriteRule .* - [F]

1. Czy wpis z .ru zablokuje wszystko, co się przedstawia mając w nazwie .ru ?

2. Czy można w ten sposób blokować IP i całe klasy - czyli zablokuje mi 212.24.48.xxx

[GMS]

ponawiam;)

[Bartek Damek]

Z założenia powinno to zadziałać. Ale w praktyce musisz sprawdzić.

[ttah]

Mam pytanie. To trochę inne zagadnienie, ale też związane z blokowaniem w htaccess, tylko że querystringa.

Czy ta regułka jest poprawna? Chodzi o zablokowanie każdego adresu, przekazującego mode=xxx (xxx to wspólny początek kilku niechcianych zmiennych) i przekierowanie takiego adresu na stronę główną:

RewriteCond %{QUERY_STRING} ^mode=xxx(.*?)$ [NC]
RewriteRule ^(.*)$ /? [R=302,L]

W zasadzie mi to działa, ale na ile jest to poprawne - tego nie wiem.

Nie rozumiem tego znaku zapytania w 2 linii. Ale bez niego QS zostaje w adresie.

[Robbieriviera]

Proszę o poradę, muszę zablokować roboty, który z poniższych kodów lepiej wstawić do htaccess:

# Begin Bad Bot Blocking

BrowserMatchNoCase OmniExplorer_Bot/6.11.1 bad_bot

BrowserMatchNoCase omniexplorer_bot bad_bot

BrowserMatchNoCase Baiduspider bad_bot

BrowserMatchNoCase Baiduspider/2.0 bad_bot

BrowserMatchNoCase yandex bad_bot

BrowserMatchNoCase yandeximages bad_bot

BrowserMatchNoCase Spinn3r bad_bot

BrowserMatchNoCase sogou bad_bot

BrowserMatchNoCase Sogouwebspider/3.0 bad_bot

BrowserMatchNoCase Sogouwebspider/4.0 bad_bot

BrowserMatchNoCase sosospider+ bad_bot

BrowserMatchNoCase jikespider bad_bot

BrowserMatchNoCase ia_archiver bad_bot

BrowserMatchNoCase PaperLiBot bad_bot

BrowserMatchNoCase ahrefsbot bad_bot

BrowserMatchNoCase ahrefsbot/1.0 bad_bot

BrowserMatchNoCase SiteBot/0.1 bad_bot

BrowserMatchNoCase DNS-Digger/1.0 bad_bot

BrowserMatchNoCase DNS-Digger-Explorer/1.0 bad_bot

BrowserMatchNoCase boardreader bad_bot

BrowserMatchNoCase radian6 bad_bot

BrowserMatchNoCase R6_FeedFetcher bad_bot

BrowserMatchNoCase R6_CommentReader bad_bot

BrowserMatchNoCase ScoutJet bad_bot

BrowserMatchNoCase ezooms bad_bot

BrowserMatchNoCase CC-rget/5.818 bad_bot

BrowserMatchNoCase libwww-perl/5.813 bad_bot

BrowserMatchNoCase magpie-crawler 1.1 bad_bot

BrowserMatchNoCase jakarta bad_bot

BrowserMatchNoCase discobot/1.0 bad_bot

BrowserMatchNoCase MJ12bot bad_bot

BrowserMatchNoCase MJ12bot/v1.2.0 bad_bot

BrowserMatchNoCase MJ12bot/v1.2.5 bad_bot

BrowserMatchNoCase SemrushBot/0.9 bad_bot

BrowserMatchNoCase MLBot bad_bot

BrowserMatchNoCase butterfly bad_bot

BrowserMatchNoCase SeznamBot/3.0 bad_bot

BrowserMatchNoCase HuaweiSymantecSpider bad_bot

BrowserMatchNoCase Exabot/2.0 bad_bot

BrowserMatchNoCase netseer/0.1 bad_bot

BrowserMatchNoCase NetSeer crawler/2.0 bad_bot

BrowserMatchNoCase NetSeer/Nutch-0.9 bad_bot

BrowserMatchNoCase psbot/0.1 bad_bot

BrowserMatchNoCase moreoverbot/5.0 bad_bot

BrowserMatchNoCase Jakarta Commons-HttpClient/3.0 bad_bot

BrowserMatchNoCase SocialSpider-Finder/0.2 bad_bot

Order Deny,Allow

Deny from env=bad_bot

# End Bad Bot Blocking

czy ten:

SetEnvIfNoCase User-Agent .*Twiceler.* bad_bot

SetEnvIfNoCase User-Agent .*VoilaBot BETA 1.2.* bad_bot

SetEnvIfNoCase User-Agent .*libwww-perl/5.805.* bad_bot

SetEnvIfNoCase User-Agent .*Java/1.5.0_11.* bad_bot

SetEnvIfNoCase User-Agent .*Sogou web spider/3.0.* bad_bot

SetEnvIfNoCase User-Agent .*psbot.* bad_bot

SetEnvIfNoCase User-Agent .*Exabot.* bad_bot

SetEnvIfNoCase User-Agent .*Charlotte/1.0b.* bad_bot

SetEnvIfNoCase User-Agent .*boitho.com-dc.* bad_bot

SetEnvIfNoCase User-Agent .*ajSitemap.* bad_bot

SetEnvIfNoCase User-Agent .*bot/1.0.* bad_bot

SetEnvIfNoCase User-Agent .*panscient.com.* bad_bot

SetEnvIfNoCase User-Agent .*Java/1.6.0_11.* bad_bot

SetEnvIfNoCase User-Agent .*WebDataCentreBot/1.0.* bad_bot

SetEnvIfNoCase User-Agent .*Java.* bad_bot

SetEnvIfNoCase User-Agent .*SapphireWebCrawler.* bad_bot

SetEnvIfNoCase User-Agent .*Yandex.* bad_bot

SetEnvIfNoCase User-Agent .*Baiduspider.* bad_bot

SetEnvIfNoCase User-Agent .*Rankivabot.* bad_bot

SetEnvIfNoCase User-Agent .*DBLBot/1.0.* bad_bot

SetEnvIfNoCase User-Agent .*sitebot.* bad_bot

SetEnvIfNoCase User-Agent .*Youdabot.* bad_bot

SetEnvIfNoCase User-Agent .*dotbot.* bad_bot

SetEnvIfNoCase User-Agent .*slurp.* bad_bot

SetEnvIfNoCase User-Agent .*wget.* bad_bot

SetEnvIfNoCase User-Agent .*emailsiphon.* bad_bot

SetEnvIfNoCase User-Agent .*emailwolf.* bad_bot

SetEnvIfNoCase User-Agent .*hoge.* bad_bot

SetEnvIfNoCase User-Agent .*cherrypicker.* bad_bot

SetEnvIfNoCase User-Agent .*nicrspro.* bad_bot

SetEnvIfNoCase User-Agent .*teleport.* bad_bot

SetEnvIfNoCase User-Agent .*emailCollector.* bad_bot

SetEnvIfNoCase User-Agent .*linkwalker.* bad_bot

SetEnvIfNoCase User-Agent .*Zeus.* bad_bot

SetEnvIfNoCase User-Agent .*deltaSCAN.* bad_bot

SetEnvIfNoCase User-Agent .*IRLbot.* bad_bot

SetEnvIfNoCase User-Agent .*libwww-perl.* bad_bot

SetEnvIfNoCase User-Agent .*nicrspro.* bad_bot

SetEnvIfNoCase User-Agent .*teleport.* bad_bot

SetEnvIfNoCase User-Agent .*e-SocietyRobot.* bad_bot

SetEnvIfNoCase User-Agent .*Accoona-AI-Agent.* bad_bot

SetEnvIfNoCase User-Agent .*OmniExplorer_Bot/6.11.1.* bad_bot

SetEnvIfNoCase User-Agent .*omniexplorer_bot.* bad_bot

SetEnvIfNoCase User-Agent .*Baiduspider.* bad_bot

SetEnvIfNoCase User-Agent .*Baiduspider/2.0.* bad_bot

SetEnvIfNoCase User-Agent .*yandeximages.* bad_bot

SetEnvIfNoCase User-Agent .*Spinn3r.* bad_bot

SetEnvIfNoCase User-Agent .*sogou.* bad_bot

SetEnvIfNoCase User-Agent .*Sogouwebspider/3.0.* bad_bot

SetEnvIfNoCase User-Agent .*Sogouwebspider/4.0.* bad_bot

SetEnvIfNoCase User-Agent .*sosospider+.* bad_bot

SetEnvIfNoCase User-Agent .*jikespider.* bad_bot

SetEnvIfNoCase User-Agent .*ia_archiver.* bad_bot

SetEnvIfNoCase User-Agent .*PaperLiBot.* bad_bot

SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot

SetEnvIfNoCase User-Agent .*ahrefsbot/1.0.* bad_bot

SetEnvIfNoCase User-Agent .*SiteBot/0.1.* bad_bot

SetEnvIfNoCase User-Agent .*DNS-Digger/1.0.* bad_bot

SetEnvIfNoCase User-Agent .*DNS-Digger-Explorer/1.0* bad_bot

SetEnvIfNoCase User-Agent .*boardreader.* bad_bot

SetEnvIfNoCase User-Agent .*radian6.* bad_bot

SetEnvIfNoCase User-Agent .*R6_FeedFetcher.* bad_bot

SetEnvIfNoCase User-Agent .*ScoutJet.* bad_bot

SetEnvIfNoCase User-Agent .*ezooms.* bad_bot

SetEnvIfNoCase User-Agent .*CC-rget/5.818.* bad_bot

SetEnvIfNoCase User-Agent .*libwww-perl/5.813.* bad_bot

SetEnvIfNoCase User-Agent .*magpie-crawler 1.1.* bad_bot

SetEnvIfNoCase User-Agent .*jakarta.* bad_bot

SetEnvIfNoCase User-Agent .*MJ12bot.* bad_bot

SetEnvIfNoCase User-Agent .*MJ12bot/v1.2.0.* bad_bot

SetEnvIfNoCase User-Agent .*MJ12bot/v1.2.5.* bad_bot

SetEnvIfNoCase User-Agent .*SemrushBot/0.9.* bad_bot

SetEnvIfNoCase User-Agent .*MLBot.* bad_bot

SetEnvIfNoCase User-Agent .*butterfly.* bad_bot

SetEnvIfNoCase User-Agent .*SeznamBot/3.0.* bad_bot

SetEnvIfNoCase User-Agent .*HuaweiSymantecSpider.* bad_bot

SetEnvIfNoCase User-Agent .*Exabot/2.0.* bad_bot

SetEnvIfNoCase User-Agent .*NetSeer crawler/2.0.* bad_bot

SetEnvIfNoCase User-Agent .*NetSeer/Nutch-0.9.* bad_bot

SetEnvIfNoCase User-Agent .*netseer/0.1.* bad_bot

SetEnvIfNoCase User-Agent .*psbot/0.1.* bad_bot

SetEnvIfNoCase User-Agent .*moreoverbot/5.0.* bad_bot

SetEnvIfNoCase User-Agent .*Jakarta Commons-HttpClient/3.0.* bad_bot

SetEnvIfNoCase User-Agent .*SocialSpider-Finder/0.2.* bad_bot

order allow,deny

deny from env=bad_bot

allow from all

prosze o poradę, czy gdzieś nie ma błędów?

[Rzezniczek]

Na różnych hostingach różnie działa. Raz nie działa i coś trzeba przerabiać a raz działa. Musisz bezpośrednio na danym hostingu sprawdzić. Co do tego który sposób lepszy to nie pomogę.

[Robbieriviera]

OK, dzięki, mam tu na mysli home.pl, próbuje wszystkiego, część mogę zablokować za pomocą robots.txt, ale reszta lata po stronach jak chce :/

[rokko]

Coś tych botów mało masz, pełno tego łazi po stronach i tylko konsumuje transfer.

Proszę o poradę, muszę zablokować roboty, który z poniższych kodów lepiej wstawić do htaccess:

Ja na twoim miejscu upchałbym to w jednej linii, niepotrzebnie powielasz stringi na początku każdej z linii.

Podziałaj, poeksperymentuj, zawsze ci coś wyjdzie.

Pozdr.

[Robbieriviera]

Dzięki juz sobie poradziłem, na home.pl działa jedynie taki htaccess

RewriteCond %{HTTP_USER_AGENT} .*WebDataCentreBot/1.0.* [NC, OR]

...

RewriteCond %{HTTP_USER_AGENT} .*Jakarta Commons-HttpClient/3.0.* [NC, OR]

RewriteCond %{HTTP_USER_AGENT} .*SocialSpider-Finder/0.2.* [NC]

RewriteRule ^(.*)$ https://www.google.com/ [R,L]

Access deny 69.147.

Access deny 173.208.

Access deny 173.234.

Access deny kimsufi.com

Access deny ...