i znów roboty.....

[vioka]

moja stronka osiągneła w tym mc transfer 11gb

w statystykach awstat pokazuję że 9 GB jest od Uniteed States

a w zakładce roboty nie pokazuje nic nadzwyczajnego nic takiego co by wyjasniało 9GB z US kiedy strone mam całkowicie po polsku

w htacces zablokowane mam to

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} "crawl" [OR]

RewriteCond %{HTTP_USER_AGENT} "Twiceler" [OR]

RewriteCond %{HTTP_USER_AGENT} "psbot" [OR]

RewriteCond %{HTTP_USER_AGENT} "slurp" [OR]

RewriteCond %{HTTP_USER_AGENT} "jeeves"

RewriteRule .* - [F]

jak ja mam to sprawdzić czy to naturalny ruch czy atak robotów ?

[mariolosek]

Nie myślałeś o przetestowaniu na jakiś czas systemu statystyk, które wycinają roboty (np. Google Analytics). Kilka minut pracy, a rezultat pewny.

[Michał Kowalski]

jak ja mam to sprawdzić czy to naturalny ruch czy atak robotów ?

Jeśli uważasz, że statystyki wykorzystania transferu są mocno nieprawdopodobne warto poświęcić nieco pracy na analizę logów. Nie trzeba być uzdolnionym programistą żeby napisać kod analizujący logi serwera www i zliczający frazy pochodzące od robotów. Warto zwrócić się do providera o pomoc w analizie tego typu sytuacji.

Czasami spotykałem się również z tego typu efektami jako rezultat zapętlania niepoprawnych regułek htaccess robot wpadał i potrafił zagotować demona apache'a.

m.k.