Skrypt do lapania botów odwiedzających strone.

[vojtek]

jamesisko, wg. mnie przydałaby się jeszcze jedna informacja: oprócz adresu IP, nazwa hosta. Wtedy od razu będzie widać czy to robot czy ktoś podający się za niego.

84422[/snapback]

Wystarczy do tego celu użyć funkcji gethostbyaddr, dopisanie tego do skryptu nie powinno być zbyt skomplikowane.

[jamesisko]

nie ma problemu - kto chce moze dobie dodac;)

jedno pole w bazie danych + tak jak poprzednik podal: gethostbyaddr i dopisywanie

tylko ze to info dla mnie jest humm niepotrzebne. w dodajfirme jez juz ponad 300 tys botow w sqlu i szybko rosnie. niepotrzebne obciazanie bazy. poza tym widac wszsytko po adresie IP bota widac czy to bot czy osoba opdajaca sie za bota..

[reegen]

Siemka witam.... pierwszy post sorki, że się wtrące ale chciałem zaproponować inne dużo prostrze rozwzanie także dla tych, którzy nie mają bazy. Moim zdainem skrypt jest szybszy niełączy się z bazą i nie obciąża a i tak dostarcza potrzebnych informacji... proszę..

<?php

if ( stristr($_SERVER['HTTP_USER_AGENT'], "msn") || stristr($_SERVER['HTTP_USER_AGENT'], "ia_") || stristr($_SERVER['HTTP_USER_AGENT'], "wp") || stristr($_SERVER['HTTP_USER_AGENT'], "onet") || stristr($_SERVER['HTTP_USER_AGENT'], "google") || stristr($_SERVER['HTTP_USER_AGENT'], "lurp") || stristr($_SERVER['HTTP_USER_AGENT'], "alta-vista") || stristr($_SERVER['HTTP_USER_AGENT'], "altavista") || stristr($_SERVER['HTTP_USER_AGENT'], "pa-x") || stristr($_SERVER['HTTP_USER_AGENT'], "aveurope") || stristr($_SERVER['HTTP_USER_AGENT'], "infoseek") || stristr($_SERVER['HTTP_USER_AGENT'], "lycos") || stristr($_SERVER['HTTP_USER_AGENT'], "excite") || stristr($_SERVER['HTTP_USER_AGENT'], "fast-search") || stristr($_SERVER['HTTP_USER_AGENT'], "alltheweb") || stristr($_SERVER['HTTP_USER_AGENT'], "szukacz"))

{

$today = date("D j M Y G:i:s");

$_email = "pzyszedl@robot.pl";

$_temat = "1";

$_wiadom = "Bot: " . $_SERVER['HTTP_USER_AGENT'] . "\nData: " . $today . "\n\nIndeksowany adres: https://" . $_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI'];

mail($_email,$_temat,$_wiadom);

}

echo "\n\n\n\n\n\n<!--\n";

echo "Data: ";

echo date("d-m-Y G:i:s");

echo "\nIP: " . $_SERVER['REMOTE_ADDR'] . "";

echo "\nDane przegladarki: " . $_SERVER['HTTP_USER_AGENT'] . "\n-->";

?>

Mam nadzieje,że sie komuś przyda u mnie sprawdza się bardzo dobrze. Includuje go sobie z pliku boty.php ps. oczywiście liste botów można sobie dopisać.

Pozdrawiam Reegen

[nrm]

ile dostajesz maili dziennie?

[jamesisko]

z jednej mojej strony mialbys ponad 15 tys maili dziennie.. kcesz?

[tomek.l]

Jak nie masz bazy to poszukaj lepiej sobie skryptu który zapisuje dane do pliku txt. Jest na forum. Chyba, że faktycznie lubisz dostawać maile.

[jamesisko]

humm na zadnej z podawanych domen juz kod nie uaktualnia wynikow... a to z tego prostgo wzgledu ze przy20-30 tysiacach wizyt na dobe baza danych jest za bardzo obciazana. Obecnie dane sa zapisywane do pliku i pracuje nad zmiana kodu.

Bedzie jedna centralna domena, na ktorej bedzie cala baza z robotami. Pliki beda pobierana, tam wrzucane cronem raz na dobe do sql'a pora nocna do osobnej bazy.

Bo tak doszedlem do wniosku ze.. kurcze dla kilku domen z duzym ruchem to sie robi zeznia dla sql'a. Druga sprawa - zmiana czegokowiek wymaga zmiany w kilku plikach...

Teraz bedzie jedno miejsce gdzie bedzie mozna sprawdzac wszystko, beda dane zapisywane nie tlko w sqlu lecz takze w plikach.

Obecnie juz mam ok 2 milionow botkow, ktore umieszczam w jednej bazie danych na localhost by z tej ilosci odlowic np. IP google bota, moze jakies nowe sie pokaze...

Ale skoncze kod jak wroce z urlopu. W tej chwili dziala juz pieknie ale.. wyglad panelu jest straszliwie toporny.

Tam gdzie jest opcja teraz do logowania sie dla admina - jest wybor stron ktore sa obserwowane, informacje o wielkosci pliku z danymi, kopiach, opcje do recznej aktualizacji (bo raz na dobe cron sie tym tez bedzie zajmowal).

Dodatkowo w jednym miejscu umieszczam procz roboty.php tez kod referer.php, ktory tez juz dziala na zasadzie plikow z danymi ktore nastepnie raz na dobe cronem sa przenoszone do sql'a.

Ale... juz jest czwartek i wypad robie na tygdzien lub dwa.... URLOP

[Erbit]

Jamesisko to, co piszesz odnośnie zawalania bazy - to było do przewidzenia... Mogę zrozumieć popularność Twego dość błednie napisanego skryptu... ale nadal nie potrafie zrozumieć po co u diabła 'łapać roboty' ? Co Ty potem z nimi bedziesz robil !? Będziesz je rozdawał ? Pomijam oczywiście aspekt satyryczny spotykany na innych forach związany z Twoim skryptem...

Jedno proste pytanie.. Po co !?

[kruzyk]

eee :/

toc one nie sa "łapane" tylko zapisuje sie info ze dany robot byl na danej podstronie z podaniem daty i godziny dla lepszego rozeznania...

Po co? - po to zebys wiedzial czy i jak twoja strona jest czesto odwiedzana przez spiderki, a to do dalszych obserwacji i wnioskow...

[michal]

toc one nie sa "łapane" tylko zapisuje sie info ze dany robot byl na danej podstronie z podaniem daty i godziny dla lepszego rozeznania...

Jeśli tak to wygląda to przerąbane, myślałem, że je się łapie po to aby nie odwiedzały konkurencji....

[Erbit]

...Po co? - po to zebys wiedzial....

Tia... poczekamy jeszcze trochę...

[jamesisko]

toc one nie sa "łapane" tylko zapisuje sie info ze dany robot byl na danej podstronie z podaniem daty i godziny dla lepszego rozeznania...

Jeśli tak to wygląda to przerąbane, myślałem, że je się łapie po to aby nie odwiedzały konkurencji....

87756[/snapback]

heheheh, z info ktore mozna poczytac na innych forach.. tak by wychodzilo ze lapie sie po to ..hihihi, a ja je lapie bo .. humm, sam nie wiem kolekcjonuje dla pozniejszych statystyk. Zapisuje sobie rozne dzialania (ich daty) i pozniej porownuje natężenie odwiedzin bota.

Botki inaczej szaleja tez przed zmianami w google, stad mzna wnioskowac o zblizajacej sie zmianie.

Mi osobiscie sa potrzebne do jeszcze paru rzeczy te informacje, o ilosci i czestotliwosci odweidzin bota, zaleznosci miedzy iloscia wizyt a iloscia zaindeksowanych stron i takie tam. Widzialem ze niektorzy poprostu usuwaja po dwoch dniach baze, ja sobie to zbieram.

A z racji tego ze boty potrafia jedna domene odwiedizc dziennie po kilka tys razy, domen na dedyku juz mam troche, stad sql jest dosc znacznie obciazany zapisami do bazy, dlatego do plikow teraz robie zapisy w raz na dobe w nocy do sql'a.

Ale to mi osobisice sa potrzebne te dane, jesli ktos chce wiedziec cos sie dzialo w przeciagu doby, tygodnia - spokojnie moze kasowac

[Mic23]

Po postapieniu zgodnie a Twoją instrukcją przy próbie instalacji pojawia mi sie:

Parse error: parse error, unexpected T_STRING in /usr/local/apache/www/htdocs/dht-it.pl/roboty.php on line 274

Czy ktoś moze wie czego to wina, tekst kopiowalem dokładnie z forum daltego nie sądze abym to ja coś zmienił w kodzie.

[jamesisko]

jednak sprawdz dokladnie bo .. cos brakuje - zle skopiowane. Albo znow forum cos .. oszukalo.

[uwe300]

Super skrypt!!

Instalacja opisana w totalnie idiotoodporny sposób, nie miałem z nią żadnych problemów. BArdzo dziękuję autorowi. Czekam na podobny opis referera

Pozdrawiam