Googlebot 1.000.000 wejść w ciągu 5 dni...

[wree]

Witam,

Od ok 2 tygodni googleboty uwalają mi serwer, w tym miesiącu wlazły na ponad 1000000 podstron... do tej pory to nie było problemem bo nie wchodziły w godzinach szczytu ale teraz uwalają mi serwer. Przez nie Load Average sięga nawet 330% chociaż serwer to 2xi7 12gb ramu itd... jest dość mocny. Jak powiedzieć googlebotom aby wchodziły w nocy lub nad ranem? jest jakiś sposób? zazwyczaj wszystkie googleboty (jest ich ok 4-7) wychodzą ok 22.20 i wtedy load spada do kilku procent, ale do tej pory zdążą uwalić mi serwer kilka razy. Zablokować ich nie chcę bo ruch głównie mam dzięki wyszukiwarce google.

[mkr]

Z poziomu Webmaster Central kazać mu zwolnić.

Gdy dla losowych zapytań w szczycie zwracasz nagłówek 503 i Retry-After, też ograniczy indeksowanie.

Ale jest to mniej bezpieczna metoda dla pozycji.

[lena-007]

Może ktoś pinguje Twoje strony albo sam to robiłeś?

[wree]

Może ktoś pinguje Twoje strony albo sam to robiłeś?

Raczej wątpie, nikt nie miałby interesu w pingowaniu moich stron. Jak zablokuje specyficznie całe klasy ip na których są googleboty to spada do granic rosądku obciążenie. Tylko dziwne.. rok czasu było ok i teraz nagle zaczął się taki huragan. Cwane google widzę że zaczęło podsyłać boty z innych ip bo 2 godziny po blokadzie znowu rośnie obciążenie i load jest już ok 50%, nie mam strony w webmaster center, bawiłem się tam jakieś 2-3 lata temu ale nie zauważyłem kompletnie żadnych pozytywnych rezultatów z korzystania z niego a wręcz przeciwnie, spadki pozycji dla wszystkich stron które miałem tam. Z tego co pamiętam zmiany tam nie przyśpieszały mi indexowania to dlaczego miałyby zwolnić. Spróbuje tego nagłówka, dzięki za odpowiedź.

----

update:

Napisałem skrypt co banuje wszystkie boty zostawiłem tylko 4 boty google (te najbardziej aktywne). Wszystkie inne uwalam. Można powiedzieć, że może być... obciążenie ok 15.

[T-K]

Tylko dziwne.. rok czasu było ok i teraz nagle zaczął się taki huragan. Cwane google widzę że zaczęło podsyłać boty z innych ip bo 2 godziny po blokadzie znowu rośnie obciążenie i load jest już ok 50%, nie mam strony w webmaster center, bawiłem się tam jakieś 2-3 lata temu ale nie zauważyłem kompletnie żadnych pozytywnych rezultatów z korzystania z niego a wręcz przeciwnie, spadki pozycji dla wszystkich stron które miałem tam.

Pierwsze pytanie, ile adresów IP ma ten serwer?

Google lubi sobie czasami prze indeksować jakiś portal, zauważyłem dodatkową skłonność do tego od jakiegoś pół roku. Chyba jest to związane z jakąś zmianą w algorytmie, bo lubi szczególnie przejść się po serwisach z dużą ilością podstron.

[mikeusz]

Wiele osób dostało bany po takiej nadaktywności, jeśli serwis nie jest spamem, to ogranicz w webmaster center, jeśli jest, a nie ma realnego ruchu, zablokuj bota na kilka dni.