crawl-66-249-65-74.googlebot.com - przeciążenie serwera

[Burn]

Witam.

Mamy serwis www posiadający ponad 200tys podstron. (ale jak doliczyc wyniki

Kilka dni temu zaczęły sie problemy, tzn co kilkana minut serwer jest przeciążony.

Szukając przyczyny w statystykach za wczorajszy dzien znalazłem:

Statystyka klientów - poprzedni dzień

Host crawl-66-249-65-74.googlebot.com

Wywołania( ilość %) 26737 6.49

Strony WWW( ilość %) 26735 61.6

Wejścia( ilość %) 1 0.02

Transfer w KB( ilość %) 673550 27.9

Jak sprawdzilem logi systemowe to rzeczywiscie od kilku dni crawl-66-249-65-74.googlebot.com pobiera(indeksuje) ogromną ilość stron.

Czy można coś zrobic aby wolniej pobierał te strony? Aby nie przeciążał serwera? (to jest konto wirtualne na home.pl)

Czy mogę gdzieś dowiedziec się wiecej o tym konkretnym robocie?

Bede wdzieczny za wszelkie informacje.

Dzieki.

----------------

EDIT.

Czy mzoe to miec zwiazek z tym że dołączylismy do adsense? Czy mozliwe ze to indeksowanie wynika z tego google chce ustalic tematycznosc stron na ktorych jest adsense?

Czy można coś zrobic aby ten robot nie zabijał nam serwera (ale jednoczesnie nie blokowac go).

[EDDY]

W Sitemap Google jest opcja "Ustaw szybkość przemierzania" i tam możesz zmienić na wolniej.

Powinno pomóc.

[-=SnU=-]

jak powiada google można zażądać zmniejszenia szybkości indeksowania witryny:

www.google.com/support/webmasters/bin/answer.py?hl=pl&answer=48620

w kwestii adsense to tematyczne dopasowanie reklam jest ustalane za pomocą robota który przedstawia się inaczej Mediapartners-Google

///a niech to, spóźniłem się

[Burn]

Drugie pytanie zadam w tym samym temacie.

Chcę aby roboty nie indeksowały mi wyszukiwarki na stronie, ktorej adres to www.domena.pl/wyszukiwarka.php?x=cos&y=22 - innymi słowy ma wiele parametrów w adresie.

Czy wystarczy w robots.txt napisac:

User-agent: *

Disallow: /wyszukiwarka.php

Czy może musi być jakas informacja o tym że skrypt jest wywoływany z parametrami?

[Xann]

a ja polecam Ci wyciąt tylko i wyłącznie tego bota przez .hateacesss

[Burn]

Tu głównie chodzi o googlebota -> crawl-66-249-65-74.googlebot.com

Z tego co wiem one kierują się tym co jest w robots.txt.

Czy ten zapis jest poprawny? czy może powinien być następujący:

User-agent: *

Disallow: /wyszukiwarka.php*

Czy mógłbyś napisać jak w .htacces powinien wyglądac zapis?

Dzięki.

[Kear]

[...]jak w .htacces powinien wyglądac zapis?

deny from 66.249.65.74

[EDDY]

<Files wyszukiwarka.php>
Order Allow,Deny
Allow from all
deny from 66.249.65.74
</Files>