Overloading/overlimits na dzielonym serwerze

[kruzyk]

Witam.

Nie wiedziałem gdzie to wrzucić więc daję tu. Jak coś to proszę o przeniesienie (byle nie do kosza ).

Mam miejsce na serwerze w firmie w USA. Moje konto przeciąża ich procesor i dlatego blokuja mi wyświetlanie stron na tym koncie. Dogadałem się, że problem rozwiążę.

Wcześniej miałem podobną sprawę u nich, z tym, że mowa była o zbyt dużej ilości procesów dla tego samego użytkownika MySql.

Wtedy dostałem od nich to:

=================================

Account usage.

April-30-2007

eofe eofe.info

Average CPU%:- 2.15

Average MEM%:- 1.24

Top Process %CPU 136 /usr/bin/php index.php

Top Process %CPU 73.0 /usr/bin/php index.php

Top Process %CPU 72.0 /usr/bin/php index.php

=================================

i parę informacji o TOS i jak zamierzam rozwiązać problem. Poprosiłem o pomoc w ustaleniu problemu i dostałem odpowiedź:

Hello,

Scripts at your account are overloading, I could not find any latest info at our Custom monitoring log, but there is old info , kindly check it below and let us know how you are going to bring the load down, so we can un-suspend your account.

=======================================================================

Sun Apr 8 23:00:12 2007: eofe running 11 processes

================================

'/usr/bin/php index.php ' (Exe: php [/usr/bin/php], Script: '/home/eofe/public_html/qlweb/index.php', Domain: qlweb.eof

e.info, Request: '/kategoria-2.html', Accessed from: 83.149.76.60)

'/usr/bin/php dodaj_pod.php ' (Exe: php [/usr/bin/php], Script: '/home/eofe/public_html/dir03/dodaj_pod.php', Domain: d

ir03.eofe.info, Request: '/dodaj_pod.php', Accessed from: 89.161.165.116)

'/usr/bin/php index.php ' (Exe: php [/usr/bin/php], Script: '/home/eofe/public_html/qlweb/index.php', Domain: qlweb.eof

e.info, Request: '/kategoria-2.html', Accessed from: 83.149.76.60)

'/usr/bin/php dodaj_pod.php ' (Exe: php [/usr/bin/php], Script: '/home/eofe/public_html/dir03/dodaj_pod.php', Domain: d

ir03.eofe.info, Request: '/dodaj_pod.php', Accessed from: 89.161.165.116)

'/usr/bin/php index.php ' (Exe: php [/usr/bin/php], Script: '/home/eofe/public_html/qlweb/index.php', Domain: qlweb.eof

e.info, Request: '/kategoria-1.html', Accessed from: 83.149.76.60)

'/usr/local/apache/bin/suexec eofe eofe dodaj.php ' (Exe: suexec [/usr/local/apache/bin/suexec], Script: '/home/eofe/pu

blic_html/dir03/dodaj.php', Domain: dir03.eofe.info, Accessed from: 89.161.165.116)

'/usr/bin/php index.php ' (Exe: php [/usr/bin/php], Script: '/home/eofe/public_html/qlweb/index.php', Domain: qlweb.eof

e.info, Request: '/kategoria-1.html', Accessed from: 83.149.76.60)

'/usr/bin/php index.php ' (Exe: php [/usr/bin/php], Script: '/home/eofe/public_html/qlweb/index.php', Domain: qlweb.eof

e.info, Request: '/kategoria-2.html', Accessed from: 85.128.182.2)

'/usr/bin/php dodaj.php ' (Exe: php [/usr/bin/php], Script: '/home/eofe/public_html/dir03/dodaj.php', Domain: dir03.eof

e.info, Request: '/dodaj.php', Accessed from: 89.161.165.116)

'/usr/bin/php index.php ' (Exe: php [/usr/bin/php], Script: '/home/eofe/public_html/qlweb/index.php', Domain: qlweb.eof

e.info, Request: '/kategoria-1.html', Accessed from: 80.86.91.80)

'/usr/bin/php index.php ' (Exe: php [/usr/bin/php], Script: '/home/eofe/public_html/qlweb/index.php', Domain: qlweb.eof

e.info, Request: '/kategoria-2.html', Accessed from: 80.86.91.80)

'/usr/bin/php dodaj_pod.php ' (Exe: php [/usr/bin/php], Script: '/home/eofe/public_html/dir03/dodaj_pod.php', Domain: d

ir03.eofe.info, Request: '/dodaj_pod.php', Ac

=======================================================================

. I tyle. Więc poprawiłem ilość różnych userów mysql i na tym się skończyło, więcej monitów nie było.

Poprosiłem o jakieś informacje jak to teraz działa i dostałem odpowiedź:

Currently your domain eofe.com is not even shoving on the Account Resource Usage Page, this means your resource usage is normal. Only High resource using are shown on the Account Resource Usage Page so I'm unable to provide you with the exact CPU/MEM usage of your account.

To było wcześniej. Ostatnio dostałem to:

Hello,

Your account is over utilizing allowed resources for the plan and we can't allow one user to degrade server performance by over utilizing allowed resources as it has a direct impact on other users on the server, therefore we had no choice but to disable web access to your account. However, you still have regular access to your cPanel and FTP.

To find out more about allowed resource usage please see section 07. of our Acceptable Usage Policy. You can find the issue below:

=================================

Account usage.

May-14-2007

eofe eofe.info

Average CPU%:- 2.71

Average MEM%:- 1.55

Top Process %CPU 125 /usr/bin/php index.php

Top Process %CPU 104 /usr/bin/php index.php

Top Process %CPU 97.0 /usr/bin/php index.php

Scripts/mysql activity as of now (for your review):-

UID PID PPID C STIME TTY TIME CMD

eofe 1945 15268 0 12:32 ? 00:00:00 /usr/bin/php index.php

eofe 2310 28787 0 12:31 ? 00:00:00 /usr/bin/php index.php

eofe 11369 21574 0 12:32 ? 00:00:00 /usr/bin/php index.php

eofe 14872 9065 0 12:31 ? 00:00:00 /usr/bin/php index.php

eofe 18918 12342 0 12:44 ? 00:00:00 /usr/bin/php button.php

eofe 20306 8219 0 12:30 ? 00:00:00 /usr/bin/php index.php

eofe 31280 15548 0 12:30 ? 00:00:00 /usr/bin/php index.php

root@clinton [~]#

|

| 77222 | eofe_qlweb | localhost | eofe_qlweb | Query | 0 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

| 77300 | eofe_qlweb | localhost | eofe_qlweb | Query | 0 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

| 77390 | eofe_qlweb | localhost | eofe_qlweb | Query | 1 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

| 77431 | eofe_qlweb | localhost | eofe_qlweb | Query | 0 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

| 77523 | eofe_qlweb | localhost | eofe_qlweb | Query | 0 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

| 77631 | eofe_qlweb | localhost | eofe_qlweb | Query | 0 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

| 79888 | myproper_phpb1 | localhost | myproper_phpb1 | Query | 0 | Sorting result | SELECT u.username, u.user_id, p.*, pt.post_text, pt.post_subject, pt.bbcode_uid FROM phpbb_posts |

=================================

From our TOS:-

--------------------------------------------------------------------------------------------------

User agree to not use excessive amounts of resources. Any violations may result in us taking corrective action in order maintain server stability by killing any processes, disabling and/or suspending your account. You may not use more than 2% CPU daily, 3% memory daily run more than 16 simultaneous processes per user or allow any process to run for longer than 30 CPU seconds. Databases are limited to 16 max user connections. If it is determined that a customers account is overusing the system resources, we may temporary suspend the account to prevent the server from experiencing any issues, resulting problems to other valued customers. If it is determined that the account is not suitable for the shared or reseller server environment, a notice will be sent to the customer providing them alternative solutions or such as 'Semi-Dedicated', 'Dedicated Servers' or a Premium Hosting account. skynethosting.net will be the sole arbiter as to what constitutes a violation of this provision and skynethosting.net reserves the right to make adjustments to these limits at our sole discretion.

--------------------------------------------------------------------------------------------------

[...]

Zauważyłem z tego, że chodzi o qlweba, więc pomyślałem, że to przez dodawarki i poblokowałem IP w .htaccess. Poprosiłem też o informacje o stanie obecnym konta. I odpowiedź:

Hello,

Accounts CPU usage still high above 2%. please update us how you plan to resolve this.

================================

May-17-2007

eofe eofe.info

Average CPU%:- 2.66

Average MEM%:- 1.57

Top Process %CPU 140 /usr/bin/php index.php

Top Process %CPU 122 /usr/bin/php index.php

Top Process %CPU 97.0 /usr/bin/php index.php

================================

Zapytałem więc, które pliki/bazy danych powodują przeciążenie, czy chodzi o podaną wyżej bazę eofe_qlweb, czy może o jakieś inne. Poprosiłem też o informacje o wszystkich problemach, które przeszkadzają.

Oto odpowiedź:

Our custom monitoring log has not recorded the exact files causing spikes in load, The mysql db i mentioned , is the one i saw active at time of blocking, so i am not sure thats the only one causing problems. So you need to check out your scripts which are causing this. Let us know how you plan to resolve.

I tutaj moje pytania:

- czy naprawdę administratorzy nie są w stanie ustalić źródła takich problemów (cytaty zaznaczone na czerwono)?

- jak ja sam mogę je ustalić?

- co oznaczają informacje, które zaznaczyłem na zielono?

- czy informacje, które mi podano o procesach są tutaj przydatne i czy przypadkiem nie o nie chodzi (i tylko wprowadzają w błąd), skoro admin nie jest w stanie określić źródła problemu i podaje te procesy, które działały podczas zablokowania konta?

Proszę o pomoc bo już sam nie wiem co robić. Podejrzewam, że qlweb może tutaj mieszać, ale nie chcę tracić punktów w systemach i wolałbym jakoś rozwiązać problem bez usuwania qlweba (IP spamiarek w .htaccess poblokowałem ale i tak stopniowo wzrasta aktywność innych spamiarek, myślę nad usunięciem/zmianą pliku odpowiedzialnego za dodawanie wpisów ale przecież chodząc po qlwebie dalej będą działały procesy...). Do tego chcę się dowiedzieć na przyszłość jak sobie radzić z takimi problemami.

[maglev]

jesli administratorzy maja widoczne procesy dla caleo systemu tj apache itp. to nic nie zrobia, gdyby mieli chrootwanie srodowiska dla poszczegolnego usera to byliby w stanie byc moze cokolwiek sprawdzic ( choc tez watpie, zeby byli w stanie sprawdzic dokladnie co. Pewnie da sie to jakos prawdzic, ale to taki naklad pracy wymaga, ze nikomu sie nie chce, bo "skora niewarta wyprawki".

Osobiscie mysle, ze jesli w przyszlosci cchesz miec spokoj z podobnymi sytuacjami powienienes sie rozejrzec za hostingiem dedykowanym z wydzielonymi zasobami sprzetowymi dla danego uzytkownika :

artykul- porownianie hostingu dedykowanego i wspoldzielonego

[mkr]

QLWEB jest zle napisany i powoduje przeciazenie. Nie ma np. odpowiednich indeksow w bazie, nie czysci tokenów.... Pare dni temu byl temat jak go zoptymalizowac. Dodawarki moga go zajechać.

[kruzyk]

Co do dedyka to póki co nie jest on mi potrzebny. Na pewno nie pod qlweba

mkr, w qlwebie nie używam tokenów, to czysty spam. Usunąłem nawet pole na email A gdybym usunął plik dodaj.php ? Czy samo "buszowanie" dodawarek po katalogu w poszukiwaniu dodaj.php też będzie tak rozwalało ten skrypt?

[mkr]

Bez indeksow bardzo prawdopodobne. Przeszukaj forum

[jimmi]

może ale akurat coś takiego co można łatwo zablokować. zrobic przekierowanie na jakaś inną stronę.

[kruzyk]

Znalazłem coś takiego https://www.forum.optymalizacja.com/index.php?s...b+optymalizacja

Zrobiłem właśnie taką blokadę w .htaccess i myślę nad zmianą nazwy pliku dodaj.php.

Czy chodzi o to https://www.forum.optymalizacja.com/index.php?showtopic=31780 ?

jimmi, rozwiń proszę. Masz na myśli zrobienie przekierowania w pliku dodaj.php na jakąś stronę?

Dodam, że poza blokadą w .htaccess używam też skryptu bodajże Eddiego blokrob.php, który wybrane IP (spamiarki) wysyła w kosmos po wejściu do katalogu.

[mkr]

2) Tak. I jak to zrobisz to wykonaj operację NAPRAW w phpmyadmin lub bezpośrednio

REPAIR TABLE `podkategorie`

[kruzyk]

mkr, zrobione zapytanie (z oryginalną nazwą tabeli)

ALTER TABLE `qlweb_podkategorie` ADD INDEX ( `podkategoria` , `id_kat` )

we wszystkich qlwebach oraz użycie opcji napraw na tej samej tabli.

Czy to wystarczy?

Czy wogóle zmiana nazwy pliku dodaj.php na inną ma sens? Czytałem, że dodawarki wyciągają jakoś nazwę tego pliku...

Czy mogę już napisać do admina, że sytuacja jest opanowana?

Dodam, że z pozostałymi skryptami nie było nigdy problemów i one na 95% odpadają przy przeciążeniach.

/edit:

Czy możesz też wyjaśnić to co zaznaczyłem w pierwszym poście?

Mam na myśli

UID PID PPID C STIME TTY TIME CMD

eofe 1945 15268 0 12:32 ? 00:00:00 /usr/bin/php index.php

Co oznaczają podane skróty oraz o jaki plik index.php chodzi?

[mkr]

Dobra dodawarka wyciągnie bez problemu adres pliku. Ale problem głównie leżał w wyszukiwaniu podkategorii do których ma być dodana strona. dodaj.php jest tylko czescia problemu.

[kruzyk]

Czyli ten problem jest rozwiązany czy nie?

Zbyt zwięźle odpowiadasz

[alumilut]

Witam.

Ja usunąłem plik dodaj.php i jest OKI.

Pozdrawiam.

[kruzyk]

Heh dzisiaj dostałem info:

I can see your account still causing Spikes at serverload.

=================================================================

Active scripts:-

UID PID PPID C STIME TTY TIME CMD

eofe 590 12823 0 12:58 ? 00:00:00 /usr/bin/php index.php

eofe 2250 6690 0 12:57 ? 00:00:00 /usr/bin/php index.php

eofe 5838 21548 1 13:01 ? 00:00:00 /usr/bin/php button.php

eofe 12557 20102 0 12:57 ? 00:00:00 /usr/bin/php index.php

eofe 14962 23874 8 13:00 ? 00:00:00 /usr/bin/php index.php

eofe 16993 32630 0 12:58 ? 00:00:00 /usr/bin/php index.php

eofe 17650 22195 0 12:58 ? 00:00:00 /usr/bin/php index.php

eofe 19121 4344 0 12:58 ? 00:00:00 /usr/bin/php index.php

eofe 25267 7460 0 12:57 ? 00:00:00 /usr/bin/php index.php

eofe 27965 19975 0 12:57 ? 00:00:00 /usr/bin/php index.php

eofe 28256 12708 0 12:58 ? 00:00:00 /usr/bin/php index.php

root@clinton [~]#

---------------------------------------------------------------------------------------------------------------

Mysql activity:-

|

| 171113 | eofe_qlweb | localhost | eofe_qlweb | Query | 1 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

| 171137 | eofe_qlweb | localhost | eofe_qlweb | Query | 0 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

| 171139 | eofe_qlweb | localhost | eofe_qlweb | Query | 0 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

| 171175 | eofe_qlweb | localhost | eofe_qlweb | Query | 0 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

| 171217 | eofe_qlweb | localhost | eofe_qlweb | Query | 0 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

| 171218 | eofe_qlweb | localhost | eofe_qlweb | Query | 0 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

| 171246 | eofe_qlweb | localhost | eofe_qlweb | Query | 0 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

| 171268 | eofe_qlweb | localhost | eofe_qlweb | Query | 0 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

| 171267 | eofe_qlweb | localhost | eofe_qlweb | Query | 0 | Sending data | SELECT COUNT(*) FROM `qlweb_katalog` k, `qlweb_powiazania` p WHERE k.id = p.id AND `ban` = 0 AND |

=================================================================

Pisownia oryginalna.

Zrobiłem to co było podane wyżej, nie usunąłem tylko i nie zmieniłem nazwy pliku dodaj.php. Zablokowałem za to w .htaccess wszystkie IP, które wygenerowały mi więcej niż 20mb transferu w tym miesiącu

Czy zostaje tylko usunięcie katalogu?

/edit:

Wiecie co, to nie ma sensu. Właśnie sobie "pochodziłem" po tym katalogu i widzę, że nie mogę wejść do podkategorii. Co z tego, że pousuwałem dodawanie podkategorii i wpisów skoro nie można wejść na żadną podstronę. Zrobie sobie backup a póki co usuwam ten katalog.

Zna ktoś może jakiś exporter wpisów i kategorii z qlweba do xml, żeby danych nie stracić i np. do mini.otwarty wsadzić? Piotrek kiedyś taki zrobił do mini.otwarty ale okazało się, że na dzień dzisiejszy ten plik nie istnieje (z PiO).

Wersja mojego qlweba - 2.8.4

[kruzyk]

Dopiszę tutaj, żeby bałaganu nie robić.

W sumie to lepszy dział Hosting więc można przenieść.

Co do powyższego mojego wpisu - wywaliłem na zbity... qlweb'a bazę w razie czego zachowałem.

Ale teraz ni z gruszki ni z pietruszki (czy jakoś tak ) dostałem info, że:

Account usage.

June-29-2007

Average CPU%:- 9.66

Average MEM%:- 1.58

Top Process %CPU 157 /usr/bin/php index.php

Top Process %CPU 135 /usr/bin/php index.php

Top Process

I tyle. Nic więcej. I jak ja mam problem namierzyć?

Poprosiłem o listę ostatnich procesów, kiedy to konto zostało zablokowane, jednak dostałem odpowiedź, że niestety ale tym razem nie mają takiej listy i

As it can be seen from daily resource usage stats index.php has been using too much resources.

Tylko, że mam około 10 subdomen a każda, jak łatwo się domyślić ma index.php

I nie wiem, czy to może zoptymalizowany katalog qlweb - www.spam.eofe.info/katalog/ . Poblokowałem w nim wszystko co zjadało ponad 200mb transferu/mc + inne zabezpieczenia i zachowywał się bardzo dobrze.

Może to mój nowy blog (w stopce) - bez WP-cache, ostatnio (na innym koncie) dostałem "warna" za obciążenia spowodowane przez Wordpress'a - zainstalowałem plugin WP-cache i po problemie.

Może to nowe forum na phpbb by Przemo, tylko, że postawiłem je 2 dni temu i ma jednego usera - mnie! Ale kto wie...

Bo mini.otwarty.pl wg mnie odpada (zawsze było OK), joomla i SMF również (ubezpieczenia.eofe.info i forum na SMF).

Jak mogę sam to namierzyć? Czy pozostaje mi tylko wyrzucanie po kolei subdomen z zawartością z konta?

To konto nie generuje dochodów wartych wykupienia VPS'a, dedyka czy innego rozwiązania droższego niż shared hosting.

Dla ciekawskich powiem, że chodzi o konto VIP na skynethosting.net.

Proszę o możliwie pełną odpowiedź, na wszystkie postawione wyżej pytania

[infobank]

we wszystkich qlwebach usunąłem możliwość dodawania czegokolwiek - po tym procesie mocno wzrosła indeksacja podstron (a więc korzyść) - niestety dodawarki zajeżdżają qlweby - potrafiły zjeść w 24 godziny około 10GB transferu