roboty, ktore blokowac i jak sprawdzic dokladnie

[pandha]

witam. sprawdzalem staty i mam takie info o robotach:

Unknown robot (identified by 'spider') 1037+48 49.24 MB 03 Cze 2006 - 07:42

Googlebot 943 7.03 MB 03 Cze 2006 - 07:33

Unknown robot (identified by 'crawl') 365+7 2.50 MB 02 Cze 2006 - 23:55

Unknown robot (identified by 'robot') 238+31 796.98 KB 03 Cze 2006 - 06:11

Inktomi Slurp 81+86 701.87 KB 03 Cze 2006 - 04:47

MSNBot 11+2 520.89 KB 02 Cze 2006 - 16:46

Unknown robot (identified by hit on 'robots.txt') 0+13 4.20 KB 02 Cze 2006 - 15:25

Alexa (IA Archiver) 0+2 662 Bajtów 01 Cze 2006 - 06:55

Voyager 1+1 57.51 KB 02 Cze 2006 - 20:53

AskJeeves 1+1 57.59 KB 01 Cze 2006 - 14:50

WISENutbot

ten pierwszy "spider" zjadl 49 mega w ciagu zaledwie 2-3 dni. wie ktos co to jest? czy moge jakos dokladniej to sprawdzic? te dane sa z statystyk z cpanelu z klatka.pl

[Rafal]

Zajrzyj do logów i zobacz co tyle zjadło. Chociaż 49 MB to wcale nie jest dużo.

Miałem podobny przypadek niedawno. Jakiś niezidentyfikowany robot pobrał wszystkie podstrony w bardzo krótkim czasie. Znalazłem go w logach, okazało się, że to robot z jakiegoś uniwersytetu (jakas wyszukiwarka, czy coś w tym stylu). Nie musiałem blokować, bo sytuacja już nie powtórzyła się.

[nikos83]

W jaki sposob moge tez sprawdzic ile dany robot zjadl mi transferu? Prosze o pomoc!

Pandha jak to zrobiles?

[nilhir]

chociażby awstats

[nikos83]

nilhir, dziekuje za odpowiedz.

A czy jest jakas strona ( najlepiej polska), gdzie krok po kroku opisany jest proces instalacji awstats?

[MartinB]

A czy jest jakas strona ( najlepiej polska), gdzie krok po kroku opisany jest proces instalacji awstats?

Jaki masz program do zarządzania swoją stroną? Jeżeli np: cPanel to awstats jest dostępny w module statystyk panela. Do statystyk wchodzi się poprzez ikonkę:

(Web/FTP Statystyki)

http(s)://adres-twojej-strony:port/frontend/x/stats/awstats.html

Jeżeli masz cPanel to przyda ci się zapoznać z dokumentacją:

https://www.cpanel.net/docs/cpanel/

[BlackHat]

ja mam podobne pytanie... otóż jeden robot strasznie często mnie nęka - odwiedza mnie średnio 8-10 razy w ciągu 2 dni i siedzi po 15-50 minut ....pozwalać na to?

oto jego dane:

MSIE 6.0
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; FDM; Alexa Toolbar)

[Daniel Kędzierski]

a kto powiedzial ze to robot ?

Ktos w przegladarce ma zainstalowanego *toolbara i pokazuje takie nie inne *UA.

10 wizyt nie jest duża ilościa odslon.

*toolbar - taki pasek narzędziowy ułatwiający wyszukiwanie zainstalowany w przegladarce, dość czesto zawierający takze inne przydatne narzędzia.

*UA - user agent - najczęściej informacja wysyłana w nagłówkach określająca rodzaj przeglądarki, dokladniej stosowane w celu wykrycia i dopasowania strony w zależności od przegladarki.

[BoSko]

no niestety, aby w indeksach wyszukiwarek były aktualne informacje musisz pozwolić na wizyty robotów.

Mi od 1 września zeżarły już 200 mb. Niby sporo ale przeszło stado robotów.

Żaden nie łyknął więcej niż 12 mb. Jeśli zobaczysz że jeden notorycznie wysysa Ci transfer dopiero wtedy go zablokuj.

[bill]

U mnie dzisiaj był :/