Googlebot jest głodny

[bojanvuk]

Cześć!

Możecie wytłumaczyć mi co ten google bot robi???

Log apacha:

66.249.65.139 - - [14/Apr/2010:02:39:10 +0200] "GET /business/does-photography-work-to-best-wedding-photographer-symptoms/ HTTP/1.1" 301 448 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.65.139 - - [14/Apr/2010:02:39:11 +0200] "GET /business/does-photography-work-to-best-wedding-photographer-symptoms HTTP/1.1" 200 90734 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.65.139 - - [14/Apr/2010:02:39:14 +0200] "GET /business/does-photography-work-to-best-wedding-photographer-symptoms/ HTTP/1.1" 301 448 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.65.139 - - [14/Apr/2010:02:39:15 +0200] "GET /business/does-photography-work-to-best-wedding-photographer-symptoms HTTP/1.1" 200 90734 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.65.139 - - [14/Apr/2010:02:39:16 +0200] "GET /business/does-photography-work-to-best-wedding-photographer-symptoms HTTP/1.1" 200 90734 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.65.139 - - [14/Apr/2010:02:40:32 +0200] "GET /business/does-photography-work-to-best-wedding-photographer-symptoms/ HTTP/1.1" 301 448 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.65.139 - - [14/Apr/2010:02:40:35 +0200] "GET /business/does-photography-work-to-best-wedding-photographer-symptoms HTTP/1.1" 200 90734 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

I w ten sposób w 2 dni zeżarł mi 3 GB transferu!

Zauważyłem tylko "/" lub jego brak na końcu linku. Site stoi na wordpressie.

Pozdrawiam!

[tomierc]

Nie wiemy nic o samej stronie więc nic nie możemy poradzić na to

[bojanvuk]

Nie wiemy nic o samej stronie więc nic nie możemy poradzić na to

Jakie informacje są potrzebne (oprócz adresu ).

Zwykły wordpress na prostej skórce. Podstawowe pluginy (XML sitemap, seo pack, cb-ping).

Posty publikowane przez xmlrpc co jakiś czas większą paczką.

Widgety: tagi, archiwum

Bardziej chodzi mi o to, że google z uporem maniaka sekunda po sekundzie czyta ten sam plik.

Do tego raz z "/" na końcu, a raz nie. Powiedzmy, że to "/" mogę spróbować obgonić .htaccessem.

Pozdrawiam,

BV

[mmr88]

Wyłącz pingowanie i sprawdź co się stanie

[raker]

Też bym obstawił to pingowanie . Standardowo ping idzie po dodaniu artykułu. Jak masz tutaj jakiś dodatkowy dopalacz to być może on zachęcił do częstych wizyt bota.

[-=SnU=-]

zwróć uwagę jak wyglądają kody odpowiedzi serwera: redirect 301 dla adresów ze slashem i 200 ok dla adresów bez, może w tym przyczyna, jakieś małe zapętlenie przekierowań ?

[bojanvuk]

zwróć uwagę jak wyglądają kody odpowiedzi serwera: redirect 301 dla adresów ze slashem i 200 ok dla adresów bez, może w tym przyczyna, jakieś małe zapętlenie przekierowań ?

Akurat przekierowanie z slasha na "bezslasha" to bym oczekiwał. Gorzej jakby dostawał to i to.

Dziwi mnie czytanie tego samego pliku raz po razie!

Pozdrawiam!

[zoozool]

myślicie, że google nie ma timeouta jak się zapętli ? wątpię by do zasranej smierci latał w tą i z powrotem, stawiam na ping.

[tomek_25]

ping jak nic

[Kojotek_OX]

Jak dla mnie też wygląda to na pingowanie. Ogranicz ilość serwisów do których wysyłasz PING-a to najlepsze rozwiązanie i/lub zakup większego pakietu hostingowego

[Good spam is a good spam]

A nie masz czasem plugina ktory automatycznie pinguje przy kazdej wizycie na stronie w polaczeniu z jakimis dynamicznymi elementami (czyms co sie na stronie przy kazdej wizycie zmienia) ?