Googlebot

[DFAG]

Chcialem poruszyc temat analizowania ruchu googlebota. Nie wiem ile osob analizuje odwiedziny bota, ale wlasnie testuje jego zachowanie w przypadku pingowania stron na wordpresie (kolejna bedzie pewnie joomla itd).

Sa 2 strony.

Na obie puszczamy pinga (bez opisow dodatkowych itd)

Jedna strona w ciagu 8-9 minut ma 4 odwiedziny Bota, druga ani jednego..

Obie sa mocno podobne (linkowane, stac taki sam, ta sama platforma blogowa itd)

Jak to wyglada u was? zy jest to calkowicie przypadkowe czy nie koniecznie ??

[kayman]

normalnie jest u mnie ustawione pinogowanie 2 x dziennie ale ostatnie 24 godziny ustawiłem pingowanie co godzinę, nie zauważyłem jakiegoś większego ruchu

[Yukatan]

Ja w ogóle nie pinguje jednej ze swoich stron a mam mnóstwo różnych botów nie tylko google, a ta co jest w top ma rzadziej .Nie wiem od czego to zależy

[kayman]

google z analizy rożnych statystyk (i rozpoznany przez HTTP_USER_AGENT) jest kilka razy dzienne na domenie jednak niektórych agentów robotów nie znalazłem opisu i nie wiem co to za typ, dodawane są do worka z moim oznaczeniem other_bots

są takie które są kilka razy na godzinę

[DFAG]

Polecam (dla wlasnej wiedzy i informacji)

Spider Tracker

w Wordpresie - ladnie wszystko czytelnie pokazuje.

Wystarczy ping wyslac na dana podstrone a nastepnie F5 (odswiezanie) w spider trackerze i ladnie nam pokazuje jak za moment robocik googla analizuje nasze podstrony

U mnie poki co (od momentu wyslania pinga do odwiedzin googlebota) mija od 1-2 sekund do 30 sekund.

[kayman]

Spider Tracker

to ja mam napisane coś bardzo podobnego z tą różnicą, że zlicza inne roboty niż google, bing i yahoo (spider tylko te 3)

różnica w odwiedzinach jest ogromna miedzy robotami, google jest kilka razy dzienne, bing i yandex ok raz dziennie (yandex nie ma jak pingowac, podobno nie ma api do pingowania) a yahoo nie mogę przygnać wcale

[DFAG]

Spider Tracker moze zliczac cale mnostwo botow jednak nalezy je recznie dodac, nic prostrzego - tu jest baza: https://www.robotstxt.org/db.html

[kayman]

baaaardzo stara ta baza, są dużo nowsze ale tez czasami już nieaktualne

w tej bing nie ma wcale a ta wyszukiwarka korzysta i z msnbot i z bingbot, yandexbot też nie ma

[DFAG]

No ja tylko przyklad dalem mnie chodzilo o googlebota, wiec tego dokladnie analizuje w wordpresach i robie sobie rozne testy zwiazane z jego powracaniem na strone, odwiedzanymi zakladkami itd

wiedzy nigdy za wiele jak to sie mowi

[tomierc]

Im częściej aktualizowana strona tym więcej wizyt bota

[DFAG]

No to akurat jasne, bo nowy wpis = automatyczny ping z strony wordpressa

[blackpress.pl]

@DFAG - nawet bez pingowania, robot częściej wchodzi gdy często pojawia się nowa treść.

[DFAG]

No na pewno, nie ma to jak dobra unikalna treść

[lament]

No na pewno, nie ma to jak dobra unikalna treść

Nie ma to jak duża ilość dobrych linków. Nigdy nie pingowałem żadnej strony (chyba, że automatycznie w WP to się odbywało) i nie miałem problem z szybka indeksacja