A może to jest przyczyna

[papieros]

Jak wszyscy odnotowałem zmniejszoną aktywność gbotów i opóźnione indeksowanie (zwykle trwało to u mnie do 3 dni - teraz dwa tygodnie minęło i kicha) . Wpadłem więc na blog cutts'a i co widzę :

google wprowadza cachowanie ( https://www.mattcutts.com/blog/crawl-caching-proxy/ ) co by tłumaczyło

zmniejszenie aktywności gbota. Powolność w indeksowaniu może być spowodowane nie najlepszym jeszcze

dostroieniem parametrów albo cuś (pozostaje mieć nadzieje, że poprawią) . Pomysł wydaje mi się

wyśmienity (no byleby szybciej indeksował oczywiście) .

PS. Nie widziałem tego na forum jeszcze to piszę , jeśli było to za 3

PS2 dla nieznających języka w dużym skrócie:

Googel wprowadził crawl caching - wszelkie serwisy googla - adsense, gbot, blog crawl korzystają z własnej jednej kopii strony pozwala to zaoszczędzić transfer. Zamiast wpuszczać kilka robotów na strone googel wpuszcza jednego a reszta korzysta z tego co on ściągnął.

[Beerbant]

Jeżeli by tak było to moznaby "wymusić" czestsze aktualizacje na stronce zmieniając/modyfikując układ adsensa bo jak do tej pory jak się coś przy adsensie zmieniało to zaraz potem wpadał mediapartners

[Czar]

Zamiast wpuszczać kilka robotów na strone googel wpuszcza jednego a reszta korzysta z tego co on ściągnął.

Idea kapitalna, szczególnie dla tych co korzystają z hostingu z małym limitem transferu.

Niestety wykonanie ciągle pozostawia wiele do życzenia, szczególnie dla nas.

Mam wrażenie, że Googlebot kompletnie olewa ustawienie Revisit-after, a tutaj własnie widziałbym wiele możliwości oszczędzenia na wizytach robotów. Inna sprawa, że często jest to ustawione nieprawidłowo (np. co 3 dni na stronach nie zmieniających się przez miesiące), więc może i słusznie.

Ale wolałbym, aby takie "eksperymenty" robiło Yahoo, bo wizyty jego robotów można wręcz podpiąć pod atak DOS (autentycznie portsentry tak reaguje na Slurpa), a na indeksacji w tej szukarce zależy mi jakoś mniej

[sir nimek]

Mam wrażenie, że Googlebot kompletnie olewa ustawienie Revisit-after

Ty masz wrażenie a ja i masa osób na tym forum wie to na 100% i nie tylko G olewa ten znacznik ale Yahoo i msn również.

[papieros]

Podejrzewam ze google olewa revisit-after z prostego powodu: sam sobie moze stwierdzic jak czesto strona jest aktualizowana i dopasowac bota do czestotliwosci zmian. testow nie robilem ale tak na oko i na zdrowy rozum tak mi to wyglada - moze dobry temat do testow?

[Wojciech]

Buforowanie wyjaśniałoby dlaczego zmniejszyła się ilośc pobrań stron przez gbota wogóle (tych które zna), ale nie tłumaczy to zupełnie dlaczego nie pobiera nowych.

A tak wogóle to są seriwsy które odwiedza regularnie i często - więc raczej upatrywałbym jakiegoś wartościowania serwisów i odwiedzania tych "lepszych" częsciej. A może po prostu coś robi i oszczędza na crawlowaniu - gdybania, okaże się jak skończy i coś się zmieni.

[fajfus]

W kazdym razie mam nadzieje, ze bot wezmie sie wkrotce do roboty, u mnie jego aktywnosc spadla bagatela 50-krotnie.

[mf]

Ja swojego czasu testowałem na dwóch forach internetowych opcję last modified, gdzie wartośc była z automatu dwa dni do tyłu, niestety albo i stety nic to nie dawało (ponad 3 miesiące), żadnych rewelacji.

[MMP]

moze dobry temat do testow?

Eee nie, bo ten meta tag dotyczy tylko jednej wyszukiwarki która to wymyśliła ( i nie jest to Google )

[papieros]

Eee nie, bo ten meta tag dotyczy tylko jednej...

Nie chodzilo mi o meta, jeno o zbadanie czestosci wizyt i czestosci aktualizacji w google

w zaleznosci od czestotliwosci zmian kontentu na stronie.

[shpyo]

Ciekawa sprawa, napisałem sobie srypcik który wysyłał mi maile z info kiedy i o której godzinie był u mnie bot googla. Byłem pewien że dawno nie zaglądał na mojej stronie bo pod pewnymi słowami kluczowymi strona stała w miejscu.

Ku mojemu zdziwieniu po nie całej godzinie miałem około 200 maili

A pozycja zmieniła się o 2 miejsca górę po jakimś tyogniu półtora.

[MMP]

jeno o zbadanie czestosci wizyt i czestosci aktualizacji w google

w zaleznosci od czestotliwosci zmian kontentu na stronie.

Hmm to będzie średni_czas_na_aktualizace * ilosc_nowych_linkow * 0.1 * ilosc_starych linkow.

[sq-]

zauwazylem, ze strony-dinozaury (dlugo w google) sa chetniej odwiedzane przez boty

[Ptaq]

Ja na stronach na odwiedziny robota nie narzekam średnio wpada do mnie 2x w ciągu godziny i siedzi kilka czasem kilkanaście(dziesiat) minut.

Istotniejsze jest to ze indeks jak ubywał tak ubywa, teraz zostalo tylko kilkaset stron

[sir nimek]

indeks jak ubywał tak ubywa, teraz zostalo tylko kilkaset stron

Indeks ubywa do czasu gdy Yahoo czy msn znów ogłosi, że przeszukuje więcej stron internetowych niż google.

Swoją drogą sprawdźcie czy wyniki dla site i allinurl macie takie same