Wykrywanie odwiedzin GoogleBOT`a na stronie

[rattkin]

Jakies konkretne przyklady wartosci zmiennej user agent?

wystarczy wpisac w google - "google user agent" i znajdziesz...

ja potwierdzam co najmniej kilka, m.in. :

gsa-crawler (Enterprise; GID-01422; jplastiras@google.com)

Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Googlebot-Image/1.0 (+https://www.googlebot.com/bot.html)

Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0)

[Adore]

Hm...

Nie moge znalezc zadnych konkretnych informacji na temat pierwszego.

Nr 2 - standardowy user agent dla Google

Nr 3 - uzywany do indeksowania zdjec, watpie czy ma cokolwiek wspolnego z robotami html, a w zwiazku z tym czy sluzy do wykrywania cloakingu

Nr 4 - to najzwyklejsza przegladarka, nie ma nic wspolnego z Google :-)

Istnieje jeszcze np. user agent robota indeksujacego na potrzeby Google AdSense.

Ale generalnie wszystkie z nich maja w zmiennej user-agent id 'Googlebot' - i o to mi przede wszystkim chodzilo.

[rattkin]

4 - wlasnie do tego zmierzam, czytaj uwaznie. google specjalnie podaje sie za zwyczajne przegladarki (takze za netscape, lynx). nie wiem tylko jak czesto. przypuszczam ze raczej rzadzo i prawd. tylko wtedy gdy istniejeje podejrzenie cloakingu. wtedy zmienia useragenta, porownuje strony i klops...

nie pamietam juz czy te inne useragenty maja w sobie string googlebot. to byloby glupie, gdyby mialy, bo istotnie, latwo wtedy je odsiac. a ip cloaking i tak jest nie do przebicia na dzien dzisiejszy.

[michal]

Czy moglbys podac jakies konkretne przyklady, kiedy googlebot zmienia swoj user-agent?

Ja sie z tym nie spotkalem.

[piotrek]

Ja sie z tym nie spotkalem.

Ja też nie, może to jakieś przekłamania systemu statystyk ale chętnie poznam szczegóły.

gdy istniejeje podejrzenie cloakingu

Gdy istnieje podejrzenie cloakingu porównywana jest po prostu wielkość dokumentu.

[melassa]

jakie ma metody google do wykrycia clokingu ta wydaje sie jedna z prostrzych ??

[pneuma]

gsa-crawler (Enterprise; GID-01422; jplastiras@google.com)

Hm...

Nie moge znalezc zadnych konkretnych informacji na temat pierwszego.

02/04/02 20:48:16 /index.html 200 GET ""

  gsa-crawler (Enterprise; GID-01083; search-admin@example.com) 128.0.0.1

https://www.searchtools.com/analysis/google...ppliancev1.html

wyglada na to że tak sie jednak przedstawia

[michal]

no tak, ale to nie jest zmiana user-agent googlebota indeksujacego siec, tylko robot indeksujacy zasoby klientow ktorzy wykupja u Google serwis Search Appliance.

[Adore]

4 - wlasnie do tego zmierzam, czytaj uwaznie. google specjalnie podaje sie za zwyczajne przegladarki (takze za netscape, lynx). nie wiem tylko jak czesto. przypuszczam ze raczej rzadzo i prawd. tylko wtedy gdy istniejeje podejrzenie cloakingu. wtedy zmienia useragenta, porownuje strony i klops...

A skad takie wiadomosci?

Przeciez nawet nie ma tego jak zweryfikowac...

[michal]

Jedyny sposob weryfikacji tego to logi, w ktorych jest IP googlebota i user agent inny niz googlebot. Musialby to byc Ip googlebota, a nie zwyczjny z domeny Google, bo oni niekiedy wchodza na strony np. zeby zweryfikowac poprawnosc Adwords.

Czekam na jakies dowody, bo nie wydaje mi sie to byc mozliwe.