[htaccess] gotowy plik blokujący boty i spam

[MANIACki]

Witam,

Posiadam kilka stron internetowych na serwerze, między innymi forum phpBB modified by Przemo. Od pewnego czasu, kiedy to strona zaczęła dobrze pozycjonować się w googlach dramatycznie wzrósł mi transfer, jednak po przyjrzeniu się użytkownikom stwierdzam, że olbrzymia część tego transferu to roboty i boty sieciowe. Dochodzi do tego, że strona ma ileś GB miesięcznie i przekraczam limity. z powodu ogromnej liczby botów rejestrujących się (nawet z systemem obrazkowym) zablokowałem rejestrację.

Wyczytałem, że najlepszym sposobem jest dobrze napisany plik .htaccess wgrany do głównego katalogu forum. Stworzyłem go wklejając zawartość blokującą boty oraz numery IP spamu ze strony sblam.

nie mam żadnej wiedzy na temat jak taki plik poprawnie stworzyć.... poniżej wklej co urodziłem i proszę Was bardzo o ew. poprawienie go, lub podesłanie gotowego. Jestem już zmęczony tymi botami a strona nie może normalnie funkcjonować...

SetEnvIfNoCase User-Agent "^EmailSiphon" bad_bot
SetEnvIfNoCase User-Agent "^EmailWolf" bad_bot
SetEnvIfNoCase User-Agent "^ExtractorPro" bad_bot
SetEnvIfNoCase User-Agent "^CherryPicker" bad_bot
SetEnvIfNoCase User-Agent "^NICErsPRO" bad_bot
SetEnvIfNoCase User-Agent "^Teleport" bad_bot
SetEnvIfNoCase User-Agent "^EmailCollector" bad_bot
SetEnvIfNoCase User-Agent "^LinkWalker" bad_bot
SetEnvIfNoCase User-Agent "^Zeus" bad_bot
SetEnvIfNoCase User-Agent "^deltaSCAN" bad_bot
SetEnvIfNoCase User-Agent "^IRLbot" bad_bot
SetEnvIfNoCase User-Agent "^libwww-perl" bad_bot
SetEnvIfNoCase User-Agent "^e-SocietyRobot" bad_bot
SetEnvIfNoCase User-Agent "^Accoona-AI-Agent" bad_bot
SetEnvIfNoCase User-Agent "^MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "^TMCrawler" bad_bot
SetEnvIfNoCase User-Agent "^Twiceler" bad_bot

<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>


Order Allow,Deny
Allow from all
# Spam sources identified by https://sblam.com.
# Generated Fri, 22 Aug 2008 06:39:11 +0100
Deny From 12.4.27.44
Deny From 12.5.238.209
Deny From 12.10.252.141
Deny From 12.12.28.2
Deny From 12.14.251.186
Deny From 12.14.255.98
...
itd... ileś tam tych adresów, jest ich bardzo dużo

Z góry thx za pomoc.

[lipek92]

Dołączam się do prośby.

Ja w tym miesiącu musiałem dokupić już 6gb transferu bo forum tak dużo zaczęło ciągnąć.

[Mar]

Wg. mnie kod jest jak najbardziej prawidłowy, wrzuć do pliku .htaccess i monitoruj statystyki,

w celu sprawdzenia i wyłapywania nowych robotów.

Mar.

[lipek92]

Tylko teraz plik .htaccess zajmuje około 1mb

Będzie to miało jakiś wpływ na działanie stronki lub zużycie transferu?

[Mion]

Na transfer nie, bo wywoływany jest wewnętrznie przez apache, ale powinno to spowodować dosyć dużą utratę wydajności spowodowaną koniecznością każdorazowego przetwarzania bądź co bądź dużego pliku. Najlepiej sprawdź empirycznie czy spowoduje to zauważalne spowolnienie wczytywania stron...

[lipek92]

Hmm... a jest jakiś inny, wydajniejszy sposób na zablokowanie niechcianych robotów?

[Mion]

Przeczytaj sobie moj pomysł na blokadę botów

[d4b]

Kiedyś tu na forum był taki skrypcik, podaje źródło bo nie chce mi się szukać tamtego tematu.

<?
$ua = $_SERVER[HTTP_USER_AGENT];
$ip = $_SERVER[REMOTE_ADDR];
$ur = $_SERVER[REQUEST_URI];

if ( 
  eregi("wget", $ua)
|| eregi("askjeeves", $ua)
|| eregi("city4you", $ua)
|| eregi("converacrawler", $ua)
|| eregi("deltascan", $ua)
|| eregi("emeraldshield", $ua)
|| eregi("ia_archiver", $ua)
|| eregi("ichiro", $ua)
|| eregi("jyxobot", $ua)
|| eregi("linkwalker", $ua)
|| eregi("netexperts", $ua)
|| eregi("omniexplorer", $ua)
|| eregi("psbot", $ua)
|| eregi("shim-crawler", $ua)
|| eregi("societyrobot", $ua)
|| eregi("surveybot", $ua)
|| eregi("szook", $ua)
|| eregi("turingos", $ua)
|| eregi("wanadoo", $ua)
|| eregi("zongbot", $ua)
|| eregi("zoomspider", $ua)
|| eregi("zyborg", $ua)

// blokada po url
|| eregi("zoom_highlight", $ur)




// blokowanie zakresow IP
// omniexplorer
|| blozakres("64.71.131",$ip)
|| blozakres("65.19.134",$ip)
|| blozakres("65.19.150",$ip)
|| blozakres("65.19.169",$ip)
|| blozakres("66.246",$ip)
|| blozakres("72.36.254",$ip)



// niechciane IP

|| $ip == "65.19.150.241"
|| $ip == "65.214.44.54"
|| $ip == "65.75.166.200"
|| $ip == "69.57.132.54"
|| $ip == "72.36.254.178"
|| $ip == "80.51.198.186"
|| $ip == "81.190.43.231"
|| $ip == "209.123.8.173"
|| $ip == "220.181.26.69"
|| $ip == "211.120.209.3"



) {
// wysylam podejrzanego robota w kosmos np. za pomoca header("location: https:// odchlankosmosu.commm");
// lub poprzez $ip do nich samych...
   header("HTTP/1.1 301 Moved Permanently");
   header("location: [url="https://onet.pl&quot%3b%29;"]https://onet.pl");[/url]
   header("Connection: close");
   exit;
}
function blozakres($zakres,$ip_,$zakresdo=""){
   $ip_od = explode(".",$zakres);
   $ip_we = explode(".",$ip_);
   if (!$zakresdo) {
       $zakresdo = $zakres;
   }
   $ip_do = explode(".",$zakresdo);

for( $x = 0; $x < 4; $x++ ){
   $ip_od[$x] = sprintf("%03d",$ip_od[$x]);
   $ip_we[$x] = sprintf("%03d",$ip_we[$x]);
   if (!$ip_do[$x]) {
       $ip_do[$x]=255;
   }
   $ip_do[$x] = sprintf("%03d",$ip_do[$x]);
}
$zakres   = implode("",$ip_od) + 0;
$ip_      = implode("",$ip_we) + 0;
$zakresdo = implode("",$ip_do) + 0;
return (($ip_ >= $zakres) && ($ip_ <= $zakresdo));
}
?>

[Carnagge]

|| eregi("szook", $ua)

O widzę, że już nawet szook'a można zablokować jak namierza spamy