Wykrywanie odwiedzin GoogleBOT`a na stronie

[S4]

Jest moze ktos w posiadaniu skrytu który wykrywa odwiedziny np. GoogleBOT ?

Jeżeli skrypt wykryje ze BOT wszedl na strone wysyla np. info ma naila:

Na stronie pojawiła sie: XXXX BOT

Godzina odwiedzin: XX:XX

Wszedł z adresu IP: XXX.XXX.XX.XX

Oczywiscie tresc maila nie musi byc taka

[rattkin]

nie ma skryptu ktory podawalby ci rzetelne informacje. googlebot falszuje useridenta i podaje sie za rozne przegladarki i wyszukiwarki. mozna go lapac jedynie po numerze IP.

[zaxxx]

Jesli po statystykach dojdziesz do wniosku, ze robot zostawia m.in. tekst "googlebot" (u mnie tak jest przewaznie: Mediapartners-Google/2.1 (+https://www.googlebot.com/bot.html)) to po prostu rob w php mniej wiecej tak:

- odczytaj hosta, gethostbyaddr();

- odczytaj przegladarke (useragent)

- nastepnie odszukaj domenie ciag "googlebot" (strstr = true) oraz w useragencie rowniez to samo : jesli jeden z warunkow bedzie prawdziwy, wykonaj funkcje mail() odpowiednio przygotowana ($body itp)

[michal]

nie ma skryptu ktory podawalby ci rzetelne informacje. googlebot falszuje useridenta i podaje sie za rozne przegladarki i wyszukiwarki. mozna go lapac jedynie po numerze IP.

Ja sie z czyms takim jeszcze nie spotkalem.

[Kil Bill]

nie ma skryptu ktory podawalby ci rzetelne informacje. googlebot falszuje useridenta i podaje sie za rozne przegladarki i wyszukiwarki. mozna go lapac jedynie po numerze IP.

Ja sie z czyms takim jeszcze nie spotkalem.

To fakt po zasosowaniu awastats widać ze zagląda co chwilę poco robal miałby sie maskować.

Też nigdzie sie do czytałem tego :shock:

Pozdrawiam

[rattkin]

wystarczy porownac useridenty z numerami IP, z jakich wchodza. googlebot czasem podaje sie za innego usera, ale IP jego wciaz nalezy do znanej puli adresow IP googla, wiec oto skad ten wniosek. wielokrotnie mi sie zdarzalo to, ale nie jestem w stanie stwierdzic jak czesto bot to robi.

zamiast skryptow i tak chyba lepsze awstats albo hitlens.

[piotrek]

rattkin, jest dokładnie tak jak piszesz - IP są zawsze z tej samej puli, natomiast ten sam crawler google może być w tej samej minucie z dwoma różnymi IP co widać na obrazku więc nie bardzo jest go za co złapać

[Kil Bill]

Za namową Michała używam awastats i widze googlebota na dłoni tylko ma to raczej znaczenie symboliczne -poprostu nie przywiązuje do tego wagi jakieś strasznej.

Googleboot jest aktywny i czesto zagląda bardziej interesują mnie robociki nieznane z cystej ciekawości

Pozdrawiam

[webcenter]

if ( strstr($HTTP_USER_AGENT, "msn") || strstr($HTTP_USER_AGENT, "ia_") || strstr($HTTP_USER_AGENT, "oogle") || strstr($HTTP_USER_AGENT, "lurp"))

{

    $today = date("D M j G:i:s T Y");

    mail("tutwoj@mail.costam", "Bot: $HTTP_USER_AGENT", "$HTTP_USER_AGENT $today https://".$_SERVER['HTTP_HOST']."".$_SERVER['REQUEST_URI']);

}

ten kod php wysle ci maila jak googlebot, mnsbot wejdzie na twoja www[/code]

[pneuma]

ja jednak odradzałbym stosowanie powyższego skrypciku, bo ilość e-maili może przekroczyc nasze oczekiwania

jezeli ktos nie ma dostepu bazy danych (tak jak ja) to polecam CJ GoogleBot Activity , wyświetal o ktorej był bot i co robił na naszej stronie, u mnie działa tak, a można go sobie ściągnąć tutaj. Naprawdę polecam, proste i skuteczne

[michal]

fajny skrypt, korzysta chyba z flat-file database, prawda?

[pneuma]

zgadza się, (cóz więcej pisać) no ew. definicja flat file a tutaj projekt wykorzystujący flat file

[pchel]

A znacie może takie wykywacze robotów działające na mysql :?:

[Adore]

wystarczy porownac useridenty z numerami IP, z jakich wchodza. googlebot czasem podaje sie za innego usera, ale IP jego wciaz nalezy do znanej puli adresow IP googla, wiec oto skad ten wniosek. wielokrotnie mi sie zdarzalo to, ale nie jestem w stanie stwierdzic jak czesto bot to robi.

Jakies konkretne przyklady wartosci zmiennej user agent?

[pneuma]

A znacie może takie wykywacze robotów działające na mysql :?:

https://www.robotstats.com/en/

pobierz

a tutaj napewno cos znajdziesz

https://www.hotscripts.com/PHP/Scripts_and_...affic_Analysis/