GoogleBot zeżarł 5GB transferu w jedną noc!

[bybek5]

Na jednym z moich stronek GoogleBot wciągnął mi ponad 5GB transferu! O co mu chodzi? I jak zmniejszyć jego aktywność? Nie chciałbym go całkowicie zablokować, choć teraz to uczyniłem.

[PawelC]

W Panelu webmaster tools można ustawić szybkość indeksowania -> https://www.google.com/support/webmasters/b...mp;answer=48620 z tego co się orientuje, to jest jedyny sposób.

[ExuS]

Jak jeszcze Googlebot to jeszcze jest może z tego jakaś korzyść. Yandexbot dopiero zżera... Właśnie, zrób jak kolega wyżej mówi. Tam będziesz miał konfiguracja, potem ustawienia i szybkość indeksowania.

[paszczur]

Albo masz bardzo duży serwis albo tak mi się wydaję, że możesz mieć np jakieś błędy w linkach i ten sam kontent jes wyświetlany pod różnymi url-ami.

[bybek5]

@paszczur w sumie możesz mieć racje, bo jest to zapleczowa stronka z dość dużym site'em.

@ExPLoiT - tylko tą opcje można ustawić jak się ma dodaną stronę do WebTools Google, a ja nie chce jej tam dodawać.