Skocz do zawartości

Zażynanie CPU przez googlebota

websign

Przez websign
w Google

Rekomendowane odpowiedzi

websign Newbie

websign

Opublikowano
Opublikowano

Witam

Na jednym hostingu mam problem z CPU, najprawdopodobniej to wina googlebota który biega po stronach jak szalony, głównie jest to bot przedstawiający się jako SAMSUNG-SGH-E250 ... (Googlebot-Mobile/2.1; +https://www.google.com/bot.html)

Jako że zależy mi z drugiej strony na szybkiej indeksacji stron, zastanawia mnie czy ten bot wpływa również na indeksację stron, czy też on sobie odwiedza stronę w bliżej nieokreślonym celu, a jeśli tak to jak go zablokować w htaccess żeby strona nie ucierpiała.

Dla jasności - strony nie są targetowane do urządzeń mobilnych.

Jeśli macie jakieś doświadczenia w tym temacie albo sugestie, czekam na info.

Pozdrawiam

Skuteczne pozycjonowanie stron www | Nowe randki internetowe

Odnośnik do komentarza
Udostępnij na innych stronach
moskit Apprentice

moskit

Opublikowano
Opublikowano

mam to samo na jednym z hostingów... googlebot z 2 ip na przemian... gniecie seokata od blisko 3 tygodni . Wyciąłem już wszystko co Generał zasugerował i zostały tylko googleboty .. nic więcej w logach nie widzę :) procek i baza przeciążona:]

Blasty Xrumer - Podlinkuj skutecznie wpisy w katalogach, preclach, profile, zaplecza.

Odnośnik do komentarza
Udostępnij na innych stronach
moskit Apprentice

moskit

Opublikowano
Opublikowano

u mnie to wygląda tak:)

66.249.66.116 - - [13/Feb/2012:12:30:59 +0100] "GET /strona/ HTTP/1.1" 200 15594 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.66.116 - - [13/Feb/2012:12:31:04 +0100] "GET /strona/ HTTP/1.1" 200 15599 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.72.163 - - [13/Feb/2012:12:31:06 +0100] "GET /strona/ HTTP/1.1" 200 15579 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.72.163 - - [13/Feb/2012:12:31:11 +0100] "GET /strona/ HTTP/1.1" 200 16590 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.72.163 - - [13/Feb/2012:12:31:11 +0100] "GET /strona/ HTTP/1.1" 200 16837 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.66.116 - - [13/Feb/2012:12:31:33 +0100] "GET /strona/ HTTP/1.1" 200 16602 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.72.163 - - [13/Feb/2012:12:31:34 +0100] "GET /strona/ HTTP/1.1" 200 15629 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.72.163 - - [13/Feb/2012:12:31:38 +0100] "GET /strona/ HTTP/1.1" 200 16590 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.66.116 - - [13/Feb/2012:12:31:39 +0100] "GET /strona/ HTTP/1.1" 200 17368 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.72.163 - - [13/Feb/2012:12:31:44 +0100] "GET /strona/ HTTP/1.1" 200 16590 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.66.116 - - [13/Feb/2012:12:31:50 +0100] "GET /strona/ HTTP/1.1" 200 17086 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.72.163 - - [13/Feb/2012:12:31:58 +0100] "GET /strona/ HTTP/1.1" 200 18379 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.66.116 - - [13/Feb/2012:12:32:06 +0100] "GET /strona/ HTTP/1.1" 200 16599 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.72.163 - - [13/Feb/2012:12:32:10 +0100] "GET /strona/ HTTP/1.1" 200 16575 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.66.116 - - [13/Feb/2012:12:32:20 +0100] "GET /strona/ HTTP/1.1" 200 16560 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.72.163 - - [13/Feb/2012:12:32:25 +0100] "GET /strona/ HTTP/1.1" 200 15619 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.72.163 - - [13/Feb/2012:12:32:29 +0100] "GET /strona/ HTTP/1.1" 200 16610 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.72.163 - - [13/Feb/2012:12:32:31 +0100] "GET /strona/ HTTP/1.1" 200 15634 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.66.116 - - [13/Feb/2012:12:32:53 +0100] "GET /strona/ HTTP/1.1" 200 15599 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.66.116 - - [13/Feb/2012:12:33:01 +0100] "GET /strona/ HTTP/1.1" 200 17164 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.66.116 - - [13/Feb/2012:12:33:14 +0100] "GET /strona/ HTTP/1.1" 200 42642 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.72.163 - - [13/Feb/2012:12:33:19 +0100] "GET /strona/ HTTP/1.1" 200 17105 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

i tak dzień i noc... :] tylko z tych 2 ip

Blasty Xrumer - Podlinkuj skutecznie wpisy w katalogach, preclach, profile, zaplecza.

Odnośnik do komentarza
Udostępnij na innych stronach
Beerbant Proficient

Beerbant

Opublikowano
Opublikowano
SAMSUNG-SGH-E250 ... (Googlebot-Mobile/2.1; +https://www.google.com/bot.html)

lekko offtopowo - ja bym na miejscu Samsunga czekał na ACTA :)

Zablokuj - nie sądzę aby miało to negatywny wpływ na indeksowanie (inne boty googla chyba też latają ?)

Przestałem olewać Skuteczne SEO . Zanim zapytasz gugla naucz się zadawać pytania ....

Moja  fotografia kulinarna  :D Jak Ciebie robią w ..... Wuja dowiesz się na seoinfo.edu.pl, Fu*k Google ......Ask me .... 

Odnośnik do komentarza
Udostępnij na innych stronach
Dido Newbie

Dido

Opublikowano
Opublikowano
Witam

Na jednym hostingu mam problem z CPU, najprawdopodobniej to wina googlebota który biega po stronach jak szalony, głównie jest to bot przedstawiający się jako SAMSUNG-SGH-E250 ... (Googlebot-Mobile/2.1; +https://www.google.com/bot.html)

Witam,

Przeczytaj https://googlewebmastercentral.blogspot.com...bot-mobile.html

Jako że zależy mi z drugiej strony na szybkiej indeksacji stron, zastanawia mnie czy ten bot wpływa również na indeksację stron, czy też on sobie odwiedza stronę w bliżej nieokreślonym celu, a jeśli tak to jak go zablokować w htaccess żeby strona nie ucierpiała.

Dla jasności - strony nie są targetowane do urządzeń mobilnych.

Jeśli macie jakieś doświadczenia w tym temacie albo sugestie, czekam na info.

Robot ten szuka kontentu dostosowanego dla komórek lub przekierowań do wersji mobilnych.

Google zaleca aby traktować tego robota jak zwykłego usera z telefonem. Zalecam tego nie blokować.

Zbadaj dlaczego wzmożony ruch stanowi problem dla Twojego serwera. Może są nieoptymalne zapytania, które odpytują całą bazę lub wiele wiele innych opcji. Jeżeli nagle Twoja strona trafi na wykop to pewnie by padła i kogo byś wtedy winił? :)

Pozdrawiam

Również pozdrawiam ;)

Odnośnik do komentarza
Udostępnij na innych stronach
websign Newbie

websign

Opublikowano
  • Autor
Opublikowano

Rzecz w tym, że są to strony zapleczowe nienastawione na userów, postawione w dużych ilościach, więc wygląda to trochę inaczej. Gdyby to było kilka stron, problemu by nie było. Poza tym rozkład odwiedzin w tym momencie wygląda tak, że prawie 70% to DoCoMo i SAMSUNG-SGH-E250, 25% to normalny googlebot, inne boty i ewentualnie zbłąkani userzy to 5%.

Skuteczne pozycjonowanie stron www | Nowe randki internetowe

Odnośnik do komentarza
Udostępnij na innych stronach
websign Newbie

websign

Opublikowano
  • Autor
Opublikowano

Sprawa wygląda tak - zablokowałem Google Mobile, obciążenie spadło poniżej 1% cpu, dzisiaj nagle 11% cpu - tylko dla 1 domeny przez ostatnie 12 godzin prawie 1000 odwiedzin googlebota (tym razem już normalnego) - czy jest jakaś szansa zmusić googlebota do rzadszych odwiedzin albo przykładowo blokować googlebota powyżej x odwiedzin dziennie bez konsekwencji ze strony google? Z tego co czytałem w robots.txt nie da się w żaden sposób zmusić googlebota do rzadszych odwiedzin, można sobie jedynie w centrum dla webmastera zmniejszyć, ale dla kilkuset domen to raczej "średnie" rozwiązanie.

Skuteczne pozycjonowanie stron www | Nowe randki internetowe

Odnośnik do komentarza
Udostępnij na innych stronach
websign Newbie

websign

Opublikowano
  • Autor
Opublikowano

Blokować w robots w zasadzie nie mam co, indeksowania w gwt dla kilkuset domen raczej robić nie będę (zapleczówki), o cache myślałem, ale przerobienie na ten moment sporo czasu by zajęło. Na razie wymyśliłem, że będę słać 503 dla googlebota jeśli wywołania przez googlebota są zbyt często, zobaczę czy to pomoże i czy nie odbije się negatywnie na stronach.

Skuteczne pozycjonowanie stron www | Nowe randki internetowe

Odnośnik do komentarza
Udostępnij na innych stronach
yavaho Newbie

yavaho

Opublikowano
Opublikowano

Bardzo słaby ten serwer, albo skrypty bardzo nieoptymalne.

Zwolnij bota, zmuszając go do odczekania 1-5 sek za nim zostanie do niego wysłany kod html.

Jeżeli strony odwiedza w głównej mierze gbot, to włączenie cache spowoduje wzrost obciążenia.
? a to niby dlaczego ?

.

Odnośnik do komentarza
Udostępnij na innych stronach

Zarchiwizowany

Ten temat przebywa obecnie w archiwum. Dodawanie nowych odpowiedzi zostało zablokowane.

Tematy

  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę. Warunki użytkowania Polityka prywatności