Roboty, spam boty..

[someone]

Witam,

Mam problem z czymś co pożera mi transfer. Mam 2 strony. Jedna z nich ma ok 7k odsłon a druga coś okolo 500. Strona która ma 7k odsłon dziennie zużyła od początku lutego (3dni) ok 600MB. Strona która ma blisko 14x mniejszy ruch przez 3 dni zużyła 3GB. Fakt że na jednej hostuje trochę plików do kilkunastu mega, ale wg dziwnie wygląda stosunek odsłon do transferu. Szukałem, szukałem i niewiele znalazłem. Nie znalazłem nic o tym jak wyśledzić boty na naszych stronach, jak rozpoznać szkodników.

Pobrałem liste ip zawierająca 12,000 adresów ze strony sblam.com, ale nie zauważyłem żadnej poprawy.

Wpisy w .httacces:

Order Allow,Deny
Allow from all
Deny From xxx.xxx.xxx.xxx

Pozdrawiam

[alek]

Ja bym sprawdził w logach co tak buszuje i wyciął na firewallu albo w htaccess.

[someone]

No tak, w logach... no bo gdzie indziej Pytanie brzmi: po czym rozpoznać ze ten ip to robot, a nie użytkownik. Czy przy pomocy statystyk analog/awstats/webalizer, które dostępne są w cPanelu da się wyśledzić roboty i spamboty? Przeglądając staty Awstats na liście robotów buszujących po mojej stronie mam kilka pozycji z pustym identyfikatorem (empty U-A).