Roboty zżerają mi transfer

[breja]

Moja metoda bazujaca na tym co zaczol graff na swoim blogu

1) kazde ip ktore nie jest googla (user agent) i odwiedza dowolna podstrone jest dodawane do pliku lastip.txt

$botID = strtolower($_SERVER['HTTP_USER_AGENT']); 
if ( strstr($botID, googlebot)){ } else 
{
$dane = $_SERVER['REMOTE_ADDR']." ";
$fh = fopen('lastip.txt', 'a');
fwrite($fh, $dane);
fclose($fh);
}

2) co 10 min cron odpala plik ponizszy ktory powbiera lastip.txt i jezeli jakies ip wystepuje wiecej niz 10 razy robi w katalogu /ban pusty plik o nazwie banowanego ip

<?php
$tablica = explode(' ', file_get_contents('lastip.txt'));

foreach($tablica as $key => $poz){
if(count(array_keys ($tablica, $poz)) > 10){
	$zle[] = $tablica[$key];
}	
}
if(count($zle)>1) { $zle = array_unique($zle); }
if(count($zle)>0) { 
foreach($zle as $zlyip){
	file_put_contents('/ban/'.$zlyip, '');
}
}
file_put_contents('lastip.txt', '');
?>

3) w htaccess jest ponizszy wpis ktory sprawdza czy istnieje plik o nazwie odwiedzjacego ip jezeli tak to blok

w htaccess:

RewriteCond %{DOCUMENT_ROOT}/ban/%{REMOTE_ADDR} -f
RewriteRule .* - [F]

Skrypt php zapewne mozna by zoptymalizowac (dziala na php5) wiec jak ktos ma poprawki to niech zapoda :-)

[Kaviorek]

moja metoda oparta jest na tym samym, tylko z użyciem php/mysql, bez htaccess,

10 odsłona na 10 minut to zdecydowanie za rygorystyczne kryterium,

a ciekawi mnie to co się łapie w taki filtr, tj. u mnie większość złapanych to na pierwszy rzut oka normalni użytkownicy, przychodzą na stronę zwykle z googole, wpisują zwykłą frazę, często już u mnie wcześniej byli, klikają coś na stronie, a po chwili 'zamieniają się w bota', który robi po kilka odsłon na sekundę, wchodząc na wszystkie podstrony do jakich są linki na danej podstronie, kończą skanowanie na ostatnich podstronach do jakich są linki w kodzie, nie wchodzą głębiej...

i nie bardzo wiem co to jest, większość blokowanych pasuje do tego schematu, ktoś coś podobnego u siebie zaobserwował?

może ci użytkownicy mają jakiegoś wirusa? który sobie z ich komputerów szuka informacji na odwiedzanych stronach...

[MOUKETTA]

a jak google analytics rozpoznaje bota od real usera?

[Kaviorek]

Przede wszystkim bot nie czytaj JS, a w ten sposób jest zwykle wstawiany kod statystyk.