Blokada Katalogu na Serwerze

[altey]

Witajcie.

Tak jak w temacie - od wczoraj 3 razy nazwa.pl zablokowała mi najważniejszy katalog na serwerze. Powód?

Informuję, że administrator NetArt zablokował katalog /home/ na

serwerze nazwa.nazwa.pl

Aplikacja zużywała zbyt wiele zasobów systemowych, co mogło prowadzić do

niestabilnej pracy usług innych Klientów NetArt. Platforma hostingowa

współdzieli zasoby sprzętowe serwera między wielu użytkowników, którym NetArt

gwarantuje jednakowo wysoką jakość świadczonych usług.

Proszę o usunięcie lub optymalizację wadliwego skryptu, przetestowanie go w

lokalnym środowisku oraz przekazanie informacji o wykonanych pracach

zmniejszających obciążenie zasobów serwera w terminie 30 dni od daty zgłoszenia

problemu. W przypadku nie dokonania żadnych zmian mających rozwiązać problem usługa

zostanie całkowicie zablokowana.

Podstawa: "Regulamin świadczenia usługi serwera w NetArt", Art. VII, pkt. 5

Oto lista procesów:

4940 37060 26 10 41584 21m 4884 R 26.7 0.1 0:24.15 /usr/local/bin/php5-fcgi.bin /home/index.php

4942 37060 26 10 38988 19m 4884 R 20.1 0.1 0:23.47 /usr/local/bin/php5-fcgi.bin /home/index.php

4533 37060 26 10 39408 19m 4924 R 19.1 0.1 0:24.67 /usr/local/bin/php5-fcgi.bin /home/index.php

4866 37060 26 10 36916 17m 4916 R 19.1 0.1 0:25.28 /usr/local/bin/php5-fcgi.bin /home/index.php

4941 37060 25 10 36904 17m 4888 D 18.1 0.1 0:24.84 /usr/local/bin/php5-fcgi.bin /home/index.php

5031 37060 26 10 39104 19m 4924 R 18.1 0.1 0:24.91 /usr/local/bin/php5-fcgi.bin /home/index.php

4865 37060 25 10 39872 20m 4924 R 17.2 0.1 0:24.16 /usr/local/bin/php5-fcgi.bin /home/index.php

4943 37060 26 10 39080 19m 4924 R 17.2 0.1 0:23.74 /usr/local/bin/php5-fcgi.bin /home/index.php

5038 37060 26 10 39012 19m 4880 R 14.3 0.1 0:24.14 /usr/local/bin/php5-fcgi.bin /home/index.php

5039 37060 26 10 38976 19m 4884 R 14.3 0.1 0:24.47 /usr/local/bin/php5-fcgi.bin /home/index.php

4944 37060 26 10 37700 18m 4884 R 12.4 0.1 0:25.26 /usr/local/bin/php5-fcgi.bin /home/index.php

4532 37060 26 10 39488 20m 4912 R 11.5 0.1 0:24.12 /usr/local/bin/php5-fcgi.bin /home/index.php

5030 37060 26 10 39084 19m 4956 R 11.5 0.1 0:24.60 /usr/local/bin/php5-fcgi.bin /home/index.php

Czyli jak zwykle ta sama formułka, która nic nie mówi.

Sprawdziłem logi na serwerze - nic nadzwyczajnego. Sprawdziłem staty serwera i rosyjski robot Yandexa zrobił trochę wywołań. Napisałem do BOK Netart czy to jest przyczyna i czy zablokowanie dostępu dla tego robota rozwiąże problem. W odpowiedzi otrzymałem:

z doświadczenia wiemy, że ten robot indeksuje bardzo agresywnie. Napewno

ograniczenie/blokada tego robota powinna pomóc.

Więc wsadziłem do pliku .htaccess ten kod:

<Limit GET POST>

#The next line modified by DenyIP

order allow,deny

#The next line modified by DenyIP

#deny from all

allow from all

</Limit>

<Limit PUT DELETE>

order deny,allow

deny from all

</Limit>

<Files 403.shtml>

order allow,deny

allow from all

</Files>

SetEnvIfNoCase User-Agent .*Twiceler.* bad_bot

SetEnvIfNoCase User-Agent .*VoilaBot BETA 1.2.* bad_bot

SetEnvIfNoCase User-Agent .*libwww-perl/5.805.* bad_bot

SetEnvIfNoCase User-Agent .*Java/1.5.0_11.* bad_bot

SetEnvIfNoCase User-Agent .*Sogou web spider/3.0.* bad_bot

SetEnvIfNoCase User-Agent .*psbot.* bad_bot

SetEnvIfNoCase User-Agent .*Exabot.* bad_bot

SetEnvIfNoCase User-Agent .*Charlotte/1.0b.* bad_bot

SetEnvIfNoCase User-Agent .*boitho.com-dc.* bad_bot

SetEnvIfNoCase User-Agent .*ajSitemap.* bad_bot

SetEnvIfNoCase User-Agent .*bot/1.0.* bad_bot

SetEnvIfNoCase User-Agent .*panscient.com.* bad_bot

SetEnvIfNoCase User-Agent .*Java/1.6.0_11.* bad_bot

SetEnvIfNoCase User-Agent .*WebDataCentreBot/1.0.* bad_bot

SetEnvIfNoCase User-Agent .*Java.* bad_bot

SetEnvIfNoCase User-Agent .*SapphireWebCrawler.* bad_bot

SetEnvIfNoCase User-Agent .*Yandex.* bad_bot

SetEnvIfNoCase User-Agent .*Baiduspider.* bad_bot

SetEnvIfNoCase User-Agent .*Rankivabot.* bad_bot

SetEnvIfNoCase User-Agent .*DBLBot/1.0.* bad_bot

order allow,deny

deny from env=bad_bot

allow from all

Sprawdziłem staty po kilku godzinach i nie mam już dodatkowych wywołań od tego robota. Strona więc zaczęła działać i działała przez 4 godziny. Po 4 godzinach znowu blokada i znowu ten sam mail. Oczywiście po raz 3 odpisałem i podanie przyczyny bo ja jej nie widzę.

Macie podobne doświadczenia? Co robić? Co może być przyczyną skoro roboty są już zablokowane?

Jakie będą skutki błędu 403 dla google? Jak na razie strona wyleciała z TOP5 i nie mogę jej znaleźć.

Z góry dzięki za pomoc.

[matthew81]

co robić? uciekać z nazwa pl polecałbym statnet lub kei! pozdrawiam

[dave84]

Na jakim skrypcie ten katalog jest?

[zamulek]

czas uciekać z nazwa.pl...

[altey]

Na jakim skrypcie ten katalog jest?

Katalog, czyli folder. W folderze siedzi Joomla. Słyszałem że niektóre komponenty Joomla obciążają serwer, ale ani w logach dostępu, ani w logach błędów problemu nie widać.

Co lepsze w panelu nazwa mam zakładkę "obciążenie serwera" i tam również mam sporo do limitów. Czasy wykonywania skryptów również normalne, więc już nie mam pojęcia. A BOK pracuje oczywiście do 22. Maila wysłałem po 21 - odpowiedzi BRAK.

[przemeks]

Może spróbuj jakiś technik optymalizacyjnych. Miałem wordpress'a na Home.pl, który ciągle obciązał serwer. Po zaktualizowaniu, wprowadzeniu cache'owanie i innych dodatków, wszystko śmiga elegancko

[altey]

Jak na razie czekam na mail od łaskawych pracowników Netart. Konsultant niby pracuje od 6 rano, tylko jakoś dziwnym trafem, jak daje czat online to po chwili wyskakuje "operator się rozłączył". Strona zablokowana już całą noc, maila jak nie było tak nie ma. Czy to ma być działanie zgodne z regulaminem? Wyłączyć i nawet nie podać konkretnej przyczyny?

[altey]

W końcu odpowiedź z NetArt. Tym razem bezpośrednie ip zrobiły kilkadziesiąt tysięcy wywołań. Sprawdziłem logi, zablokowałem kilka ip i jak na razie katalog został odblokowany. Zobaczymy czy to wystarczy, ale mam już dość użerania się z nimi.

[hekko]

Jeśli jest jak mówisz to mają rację. Powinieneś zadbać o to aby tak nie było, w krytycznych momentach nie można pozwolić sobie na czekanie (kilkadziesiąt tysięcy wywołań).

[MaxPan]

Jeżeli masz wiekszy ruch na stronie i tak rano czy późno ciebie wywalą.Nazwa to hosting pod wizytówki firm. Mam ten hosting u nich od 4 lat. Radze już rozglądać się za VPSem.

[altey]

Jeśli jest jak mówisz to mają rację. Powinieneś zadbać o to aby tak nie było, w krytycznych momentach nie można pozwolić sobie na czekanie (kilkadziesiąt tysięcy wywołań).

Raczej nie mają racji, bo co to za tłumaczenie - "może doprowadzić do zbytniego obciążenia" ? Serwer ma swoje parametry i żaden limit nie został przekroczony, ani nawet nie było takiego zagrożenia. W regulaminie pisze, że mogą wyłączyć jeśli wykonywanie skryptu przekroczy czas limitu, a z Tym problemów nie ma.

Tak czy inaczej, jeśli tak bardzo dbają o interesy i bezpieczeństwo klientów, to niech piszą: "Serwer może ulec przeciążeniu z powodu..... Rozwiązaniem problemu jest blokada ip ......... Jeśli nie zostanie nałożona w ciągu 4 godzin, katalog zostanie zablokowany". I gitara, nawet im za to podziękuje. A nie że robią blokadę o 20 wieczorem, na jakiekolwiek wyjaśnienie trzeba czekać do 9 rano dnia następnego.

Co do dbania o to: Tak zgadzam się, ale akurat nie w Tym wypadku. Najpierw Yandex puścił agresywnego robota, więc zrobiłem blokadę na niego i na kilka innych z listy najbardziej agresywnych. Ale potem już wywołania miałem z Polskich prywatnych Ip, co wyglądało na celowe działanie konkurencji.

[Mion]

Raczej nie mają racji, bo co to za tłumaczenie - "może doprowadzić do zbytniego obciążenia"

Nie rozumiesz tak prostego zdania ? To ty odpowiadasz za to co jest na serwerze i jakie generuje obciążenie...

Zresztą temat wielokrotnie poruszany na łamach tego forum.

[altey]

Raczej nie mają racji, bo co to za tłumaczenie - "może doprowadzić do zbytniego obciążenia"

Nie rozumiesz tak prostego zdania ? To ty odpowiadasz za to co jest na serwerze i jakie generuje obciążenie...

Zresztą temat wielokrotnie poruszany na łamach tego forum.

Rozumiem nawet tak proste zdanie - nie o to mi chodzi. Chodzi o to, że w sprawie jakichkolwiek obciążeń serwera, mam spory zapas i na pewno te pojedyncze wywołania nie doprowadzą do żadnych przeciążeń. Ja rozumiem, że oni monitorują i patrzą na to tak: W godzinę jest 25000 wywołań z jednego ip, trzeba blokować bo za 5 godzin będzie już gorąco. Tylko czy nie lepiej najpierw napisać maila, dać choć trochę czasu na działanie z mojej strony, a po ewentualnym braku działania zablokować katalog? Według mnie powinni zachowywać się w ten sposób a nie pochopnie od razu nakładać blokady.

Tak czy inaczej jak na razie sprawdzam staty i logi na bieżąco, jak na razie blokady robotów i ip działają i strona chodzi. Już nie mogę sobie pozwolić na kolejne blokady.

[hekko]

Powtórzę, że w krytycznych momentach nie można sobie pozwolić na czekanie/maile. Nie masz pojęcia jak zachowuje się serwer w takiej chwili. Jedyną możliwością jest blokada takiej strony.

[Mion]

Problem jest taki, że jak Ty generujesz nawet w ciągu 10 minut za duże obciążenie odczuwają to inni userzy tego serwera w postaci ogólnego wydłużenia czasy oczekiwania na odpowiedzi w żądaniach HTTP - pospolicie mówiąc strona wolno się ładuje. Na szczęście dla innych userów takie są reguły u nich.