Duża ilość wywołań przez googlebot

[Design Group 1]

Witam, 

 

mam pytanie, może ktoś zmagał się z tym problemem. Jeśli na forum istnieje już taki wątek, z góry przepraszam, że zaczynam od nowa, ale męczę się z tym już od kilku dni i mam już dość, muszę szybko to jakoś naprawić. 

 

Otóż mam główną domenę X a na niej mam kilkadziesiąt subdomen, jednak subodmeny te nie są nigdzie opublikowane, bo są w zakładce ukrytej, tylko do podglądu dla mnie. Nie mniej jednak na dwie strony które są na tych subdomenach musiało być jakieś włamanie, bo wpisując w wyszukiwarkę site: nazwa domeny (głównej domeny) w wynikach wyszukiwania pojawia się ciąg dziwnych znaków chińskich i innych (dotyczy to dwóch stron na subdomenach). 

 

Zaczęłam się temu przyglądać gdy nagle była duża ilość wywołań strony przez:

 

HTTP/1.1" 301 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

 

Do południa było kilkadziesiąt wywołań i nadal rosło, blokowanie w htaacess czy pliku txt nic nie dało, bo pomimo, że bot ten został zablokowany, dalej wchodził na stronę. Jako, że strony te nie były zbyt ważne, postanowiłam je usunąć i myślałam, że problem zniknie, niestety

 

Po usunięciu tych stron, googlebot rzucił się na główną domenę (główna domena jest czysta, nie było na niej włamania). 

 

Na chwilę obecną zablokowałam IP na serwerze, ale wiem, że to nie jest rozwiązanie, bo w ten sposób wszystkie strony są zablokowane i Google ich nie odwiedzi, jest to tylko chwilowe, ponieważ muszę to jakoś rozwiązać, bot ten rzucił się jak oszalały i nie może przestać. 

 

Co ciekawe, nawet zablokowanie tego na serwerze do końca tego nie zatrzymało, bo niektóre adresy dalej wywołują główną domenę, ale już nie z mniejszą intensywnością.

 

Są to różne adresy i jest ich ok. 40 poniżej wklejam kilka z nich: 

 

66.249.78.234

66.249.78.215

66.249.66.114

66.249.66.88

66.249.78.81

66.249.66.114

66.249.64.11

66.249.64.116

 

Bot ten próbuje wywołać w większości podstrony których nie ma  np.

 

GET /rixyn39/gwmrcj4375-20160314.htm HTTP/1.1" 301 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

 

GET /msdkp37/tphl47573-20160314.htm HTTP/1.1" 301 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

 

Jakieś ciągi liter i znaków, skąd się to bierze? 

 

Czy jest jakiś sposób aby to zatrzymać / naprawić bo muszę przecież usunąć z serwera blokowanie tych adresów IP, bo nie jest to rozwiązanie, ale nie mogę teraz tego uwolnić, bo znów się te roboty rzucą. 

 

Z góry dziękuję za każdą podpowiedź. 

[dziki_rysio_997]

Do południa było kilkadziesiąt wywołań i nadal rosło, blokowanie w htaacess czy pliku txt nic nie dało, bo pomimo, że bot ten został zablokowany, dalej wchodził na stronę. Jako, że strony te nie były zbyt ważne, postanowiłam je usunąć i myślałam, że problem zniknie, niestety

 

Po usunięciu tych stron, googlebot rzucił się na główną domenę (główna domena jest czysta, nie było na niej włamania).

Co to znaczy, że zablokowanie w .htaccess nic nie dało? Bot został zablokowany, dostaje HTTP 403 i zakładam, że serwera prawie to nie boli.

I co to znaczy, że "przerzucił się na główną"?

Ciekawi mnie też to, co podałaś w logach niżej - tzn. te 301 z nieistniejących adresów. Zablokowałaś je czy przekierowałaś 301 np. na główną?

Swoją drogą to na czym w tej chwili polega główny problem? Boty generują obciążenie na serwerze?

Zakładam, że jeśli był włam, to spamerzy "zasugerowali" Google, że może warto zaindeksować wspomniane "dziwne" adresy - stąd odpytania.

Podaj jakąś nazwę "problematycznej" subdomeny, może uda się coś więcej powiedzieć.

[Design Group 1]

Co to znaczy, że zablokowanie w .htaccess nic nie dało? Bot został zablokowany, dostaje HTTP 403 i zakładam, że serwera prawie to nie boli.

 

Po zablokowaniu adresów IP bot dalej wchodził na stronę. Na serwerze w logach error po pobraniu pliku widzę "odmowa dostępu"  gdy bot próbował wejść (client denied by server configuration), jednak dalej usilnie  były wywołania strony i jakieś dziwne ciągi znaków które nie istnieją. Bot nadal się dobijał. Nie wiem czy w miarę jasno to napisałam

 

CPU serwera rośnie w błyskawicznym tempie.

 

I co to znaczy, że "przerzucił się na główną"?

 

wcześniej dotyczyło to tylko 2 subdomen  głównej domeny subdomena.nazwadomeny.pl, a gdy usunęłam te dwie strony na subdomenach bot uczepił się domeny głównej nazwadomeny.pl

Ciekawi mnie też to, co podałaś w logach niżej - tzn. te 301 z nieistniejących adresów. Zablokowałaś je czy przekierowałaś 301 np. na główną? 

 

tych adresów nigdy nie było na stronie, jednak przed chwilą zauważyłam w głównym katalogu w folderze images (bo wcześniej szukałam głębiej) dwa pliki php, w których były ciągi różnych znaków np. rs// 458 // i inne dziwne zapisy. Chyba już z przemęczenia to przeoczyłam. Wynika z tego, że coś się wkradło również do strony głównej i być może stąd też bot próbuje wywoływać linki które nie istnieją i ma to związek z tym pikiem php który został wgrany

Swoją drogą to na czym w tej chwili polega główny problem? Boty generują obciążenie na serwerze?

 

Tak, generują ogromne obciążenie, nie chcę ich blokować na stałe, bo przecież są pozycjonowane strony, a blokada IP na serwerze jest tylko chwilowa.  

Zakładam, że jeśli był włam, to spamerzy "zasugerowali" Google, że może warto zaindeksować wspomniane "dziwne" adresy - stąd odpytania. 

 

Czy może mieć to związek z tym plikiem php? Co teraz zrobić? Wpadłam na pomysł, aby dla subdomen zmienić domenę, ale co z główną domeną, czy bot sobie odpuści? 

Podaj jakąś nazwę "problematycznej" subdomeny, może uda się coś więcej powiedzieć. 

 

Subdomeny zostały już usunięte, dwie strony poszły do kosza.

[dziki_rysio_997]

Proszę podaj jakiś konkretny adres domeny (jeśli nie możesz tutaj, to na PW), która teraz generuje obciążenie z uwagi na częste odwiedziny bota - bez tego trudno coś konkretnego zaproponować.

[Design Group 1]

Proszę podaj jakiś konkretny adres domeny (jeśli nie możesz tutaj, to na PW), która teraz generuje obciążenie z uwagi na częste odwiedziny bota - bez tego trudno coś konkretnego zaproponować.

Zaraz wyślę link na PW. Dzięki za chęć pomocy