Boty Google i ich rodzaje

[Czachapl]

Mam pytanie, jakie znacie rodzaje botów z Google .

Nie chodzi mi ot to ze zaraz ktoś napisze ze Google ma ponad 200 botów, tylko o takie odpowiedzi gdzie podacie, jakie wy boty namierzyliście na swoich stronach.

[mkane]

Mam pytanie, jakie znacie rodzaje botów z Google .

Od szukajki, adsense, obrazków i blogów.

Nie wiem czy o to Ci chodziło?

[cinek60]

czy ktos wie , jak te boty rozpoznac?

[buggie]

Za pomocą prostego skryptu PHP i funkcji $_SERVER['HTTP_USER_AGENT'];

Zapisuje wszystko do pliku logi.txt i wysyła Ci mejla.

<?php

$robot=array("analyzer", "arena.pl", "arachnofilia", "aspseek", "check", "crawl", "googlebot", "google", "bot", "gooru", "infoseek", "inktomi", "lycos", "msnbot", "netoskop", "NetSprint", "openfind", "onet", "roamer", "robot", "rover", "robozilla", "scooter", "search", "siphon", "siphon", "slurp", "spider", "sweep", "szukaj", "szukacz", "walker", "WebStripper", "webspider", "wisenutbot", "gulliver", "validator", "yandex", "ask jeeves", "moget@", "teomaagent", "infoNavirobot", "PPhpDig", "gigabaz", "Webclipping.com", "RRC", "netmechanic", "yahoo! slurp", "yandex",);

$file="logi.txt";

$openlogs=fopen("$file", "a");

$cnt = count($robot);

for($i=0; $i < $cnt; $i++)

{

if(eregi($robot[$i], $_SERVER['HTTP_USER_AGENT']))

{

$naglowki = "Reply-to: moj@mail.pl <moj@mail.pl>\r\n";

$naglowki .= "From: roboty@tralala.pl <roboty@tralala.pl>\r\n";

$naglowki .= "MIME-Version: 1.0\r\n";

$naglowki .= "Content-type: text/html; charset=utf-8\r\n";

$tresc1 = "<strong>Data:</strong> ".date('d-m-Y');

$tresc2 = "<strong>Godzina:</strong> ".date('H:i:s');

$tresc3 = "<strong>Robot:</strong> ".$_SERVER['HTTP_USER_AGENT'];

$tresc4 = "<strong>Adres IP:</strong> ".$_SERVER['REMOTE_ADDR'];

$tresc5 = "<strong>Host:</strong> ".gethostbyaddr($_SERVER['REMOTE_ADDR']);

$content=date("r") . " | Wyszukiwarka: " . $robot[$i] . " (" . $_SERVER['HTTP_USER_AGENT'] . ") | IP: " .$_SERVER['REMOTE_ADDR']."\n";

mail("TWOJ@EMAIL.pl", "Odwiedziny robota na stronie wwwl", $tresc1."<br>".$tresc2."<br>".$tresc3."<br>".$tresc4."<br>".$tresc5, $naglowki);

if($openlogs && flock($openlogs,LOCK_EX)) {

fwrite($openlogs, $content);

flock($openlogs, LOCK_UN);

} else {

die('nie udalo siem');

}

break;

}

}

fclose($openlogs);

?>

[Xann]

Czy boty google podpisują się zawsze jako: googlebot ?

[buggie]

Czy boty google podpisują się zawsze jako: googlebot ?

Rozumiem, że to było pytanie retoryczne

[gniotek]

buggie, raczej nie.

Sam jestem tego bardzo ciekaw

- to może być kolejna teoria spiskowa.

[βασιλιάς]

Nie zawsze, mam w logu jedno wejście z hosta .googlebot.com z User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0).

Czasami jest też IP bez hosta, ale z normalnym User-Agentem Googlebota.

[buggie]

Te od gógla co lubią moje witryny to:

• Googlebot/2.1 (+https://www.googlebot.com/bot.html)
  
• Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
  
• Mozilla/5.0 (compatible; Google Keyword Generator; +https://www.google.com/bot.html)
  
• Google-Sitemaps/1.0
  
• SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +https://www.google.com/bot.html)
  
• DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +https://www.google.com/bot.html)
  
• AdsBot-Google (+https://www.google.com/adsbot.html)
  

Dodatkowo jeszcze może do nas zawitać:

• Mediapartners-Google/2.1
  
• Googlebot-Image/1.0
  

o innych nie słyszałem

Obserwuje sobie kilka witryny, co i kiedy na nie wchodzi, i mam czasem niedowiary... Można się zdziwić jak bardzo "dorzynane" są nasze witryny przez roboty, w szczególności ostatnim czasem spbot mnie męczył grubo ponad sto razy dziennie, dzięki bogu mamy do dyspozycji .htaccess

Robot: Mozilla/5.0 (compatible; spbot/1.0; +https://www.seoprofiler.com/bot/ )

Adres IP: 174.129.144.34

Host: ec2-174-129-144-34.compute-1.amazonaws.com

[Good spam is a good spam]

Z botami taka prosta sprawa nie jest

Sa boty sprawdzajace, indexujace, do wykrywania cloackingu i innych cudow. Glupi AdWords ma kilka rodzajow botow. Np. najpierw wpada bot sprawdzic czy strona wogole jest, jakie sa przekierowania itd. Po jakis 1-4 godzinach wpada bot 'oceniajacy' LP, pozniej zagladaja monitorujace itd. Sa boty 'przegladarkowe' ktore udaja uzytkownika. Cala sprawa nie jest taka prosta jak by sie wydawalo a wykrywanie bota po UserAgent to jak wykrywanie marki samochodu po kolorze

[spectacular]

Stary temat, ale może ktoś, kiedyś, gdzieś będzie szukał informacji na ten temat, więc poniżej wrzucam rodzaje botów:

https://www.google.com/support/webmasters/b...;answer=1061943