Prośba o ocenę obciążenia serwera

[maciekp]

Długo tu nie wchodziłem, bo inne obowiązki cisnęły. Ale za miesiąc kończy mi się hosting na "Aktiwie" i może spróbuję tego Kimsufi. Dobrze, że opłacać można co miesiąc - będę mógł przetestować. Teraz jest leniwy, spokojny czas wakacyjny. Ale wolałbym, żeby nie było niespodzianek od września...

[maciekp]

Trochę czasu minęło, a ja muszę chyba znowu prosić Was o pomoc. Finał sprawy sprzed ponad pół roku był taki, że pozostałem na serwerach Active24, migrując na dedyk z 8 GB RAM i Xeonem 4-rdzeniowym 2,4 GHz. Tyle mi powiedzieli, i szczerze mówiąc do tej konfiguracji nie mam wglądu. Tak było trochę umówione, na zasadzie, że jest to dla mnie i tak tanio - "zeszli" do 500 zł netto. Nie twierdzę, że to nie prawda - po prostu za bardzo nie mam danych do wglądu. Active24 nie ma takich pakietów oficjalnie.

Tymczasem mój słownik on-line w popołudniowych godzinach szczytu nie przestał mieć dużych "lagów". Ostatnio jest z tym coraz ciężej, użytkownicy się niecierpliwią. Wysłałem już do dyrektora Active nawet pytanie, czy może dałoby się za nieduże pieniądze coś "podkręcić" w konfiguracji, typu 12 GB RAM itp. Ale podkusiło mnie coś i pogooglałem - no i proszę. OVH zdaje sie mieć znacznie lepszą ofertę. Za 530 zł netto łącznie 8 rdzeni i 24 GB RAM! Czy jest gdzieś haczyk? Czy za cenę w okolicach 500 zł mogę żądać więcej niż miałem do tej pory? Opłaca mi się zostać w Active, czy może próbować migrować do OVH? Czy mielibyście jakieś rady?

[hekko]

A może jakiś administrator, który by ocenił konfigurację programową, podkręcił ustawienia?

[Eldoka]

Te ovh mnie zainteresowały, pytanie jaki pożytek byłby dla mnie np. ze standardowego RPS III... Od biedy udźwignę jeszcze IV. Zawsze pewnie będzie można z nimi to i owo ustalić i zmienić w razie czego opcję... Mam nadzieję.

To już bardziej opłaca Ci się wziąć najtańszego dedyka z oferty kimsufi niż to RPS III.

Wy chyba lubicie oddawać kasę hostingom.

Spokojnie shared to uciągnie w normalnej firmie.

Ta firma jest dla początkujących webmasterów najlepiej strony firmowe, które zjadają 0.5 mb / dziennie transferu na samym html.

[maciekp]

Nie sądzę, żebym mógł liczyć na pomoc takiej osoby. Radziłem się trochę Majgiera z algorytmy.pl i on sugerował, że tak duża liczba skomplikowanych zapytań (mam kilkanaście tysięcy użytkowników dziennie) musi generować duże obciążenie. Sądzę, że to raczej jest kwestia odpowiedniego dobrania sprzętu...

[BlackSEO]

Znając życie wykonujesz pewnie wiele osobnych zapytań do bazy zamiast zastąpić je jednym - pomyśl o atomowości bazy danych oraz jak koledzy już wspomnieli nadania indeksów odpowiednim kolumnom. Jeśli ogólnie nie miałeś wcześniej styczności z bazami danych - zleć to komuś kompetentnemu, a obciążenie z pewnością spadnie diametralnie...

[lords]

Ile baza ma rekordów, jak są rozłożone odwiedziny w czasie ?

[maciekp]

Nie jest to takie proste, a staram się robić samodzielnie (wsad merytoryczny robię już od 10 lat...). Technicznie szukam przez match against w kolumnach z indeksami pełnotekstowymi, zapytania zakończone sukcesem są zapisywane w postaci plików na dysku i wyszukiwarka zawsze najpierw sprawdza, czy plik już jest, czy trzeba sięgnąć do bazy... Rekordów jest tylko 40 tys., ale możliwości rezultatów wielokrotnie więcej. Do tego funkcje "podpowiadające": gdy użytkownik wpisze z błędem, wyszukiwarka szuka wyrazów podobnych. Trzeba na to kilku dodatkowych kolumn i funkcji similar_text.

Mam mało statystyk i nie potrafię ich interpretować, bo to mój jedyny serwis, ale np. tak wyglądają w bieżącym miesiącu: średnio dziennie 12 442 wizyty, 1 114 130 stron, 1 119 933 żądania, pasmo 3,55 GB.

"Godziny szczytu" to 18-21 od niedzieli do czwartku...

Być może jakieś "detale" by również pomogły. Mam różne drobne błędy wynikające z niedouczenia, ale pogodziłem się z nimi. Np. baza jest przeszukiwana dwukrotnie tylko po to, by za drugim razem przeszukać kolumnę z hasłami bez polskich znaków (w ASCII), oczywiście po uprzednim przekonwertowaniu hasła zadawanego przez użytkownika. Powód? Przy utf-ci nie znajduje mi wyrazów ze znakiem "ł" oraz umlautów... Robię wiele rzeczy na piechotkę, "byle jak - byle skutecznie". Ciężki ze mnie przypadek, ale taka już była kolejność: najpierw słownik, potem uczyłem się go uruchamiać on-line. A potem okazało się, że musi to mieć jakieś "ekonomiczne" podstawy.

Ale i tak ogólna idea jest taka, że najwyraźniej mój serwer sprzętowo nie jest optymalny, a płacę niemało. Stąd to moje pytanie, czy może zmienić na OVH, albo może negocjować z dotychczasowym usługodawcą.

A, zapomniałbym: są jeszcze podpowiedzi "live" w ajaxie... Prosty mechanizm, cudem go kiedyś skleciłem, ciągnie z listy wyrazów niemieckich z pliku tekstowego. Kolejny raz potrzeba różnych upierdliwych spowalniaczy, typu funkcja iconv.

[lords]

Ja bym na twoim miejscu poszukał programisty do optymalizacji, może się okazać, że tak zoptymalizuje, że będzie działało na VPSie Dokupywanie sprzętu nie jest tutaj najlepszym rozwiązaniem moim zdaniem.

[maciekp]

Ja bym na twoim miejscu poszukał programisty do optymalizacji, może się okazać, że tak zoptymalizuje, że będzie działało na VPSie Dokupywanie sprzętu nie jest tutaj najlepszym rozwiązaniem moim zdaniem.

Ale już od ponad pół roku płacę i tak 615 zł miesięcznie, a nawet Majgier mi pisał, że tu niewiele da się zrobić. To wręcz nieprawdopodobne, by przy milionie wyszukiwań dziennie wystarczał słaby serwer, z dodatkami typu sugestie w ajax. Poza tym ja wszystkiego w bazie wyrazów nie zmienię, nie ma takiej możliwości. Ona ma określoną strukturę, hasła są redagowane jak w tradycyjnym słowniku. Jest również jego wersja w formie programu off-line i to jest ta sama baza, nie mogę robić równolegle dwóch. Trzeba wyszukiwania pełnotekstowego, na indeksach pełnotekstowych, a co w nim jest jeszcze do zoptymalizowania?...

[slawek22]

Haczyki - jest prawdopodobnie gorszy support. Ale ogólnie dostajesz więcej jeśli chodzi o usługę i sprzęt. Bo u nas jeśli o to chodzi jest straszna drożyzna. Problem w tym, że nie widzisz obciążenia... czy brakuje CPU, RAM czy IO (czyli RAM). Weź sobie jeden serwer w hetzner.de za 50 euro miesięcznie

https://www.hetzner.de/hosting/produkte_rootserver/eq4

Jak nie starczy weź drugi i zrób load balancing albo przeznacz jeden serwer tylko i wyłącznie na AJAX (to prawdopodobnie większość requestów, jak ci ludzie zaczną przeciążać maszynę to najwyżej autouzupełnianie ubiją, więc żaden problem)

a nawet Majgier mi pisał, że tu niewiele da się zrobić.

Prawdopodobnie tak pisał, bo tutaj potrzeba kilku dni albo tygodnia, żeby w ogóle przeanalizować problem i coś powiedzieć odnośnie optymalizacji. Bazy danych są koszmarnie wolne. Raz pisałem demon w C++ do obsługi dużej bazy keywordów + FTS (100 mln unikalnych fraz), kwerenda w mysql dla zoptymalizowanej bazy od kilku sekund do minuty. Aplikacja w C zajmuje ponad 4GB pamięci, ale wyniki są zawsze poniżej 50-100ms.

BTW: Jak ten serwer masz z administracją to bardzo dobra oferta. Pytanie czy w ogóle jest sens mówić o OVH skoro będziesz tym musiał sam zarządzać. Ale zawsze możesz spróbować wyłączyć ten AJAX i zobaczyć czy to rozwiąże problem. Jak rozwiąże - przenosisz autouzupełnianie na najtańszego grata w OVH i jest dobrze

[maciekp]

Ha, no i tu może być klucz: tak, serwer mam z administracją, generalnie jestem mocno niesamodzielny. Po prostu, C-Panel do podstawowych spraw, phpAdmin, FTP - to są wszystkie moje narzędzia. Czyli mówisz, że nie jest to zła oferta - trochę mi ulżyło, choć zawsze zakładałem, że są wobec mnie raczej w porządku. Choć ta administracja nie jest super-komfortowa. Na problemy reagują, gorzej gdy chcę coś zmienić, np. zmienną PHP. Tzn. bywało nieźle, ale ostatnio nie mogę się doczekać reakcji.

Pytanie, czy z moim brakiem wiedzy opłacałoby mi się patyczkować z instalacją wszystkiego na serwerze OVH - czy po jakimś tam wkładzie czasu i ich płatnej pomocy dałoby się uzyskać stan nie wymagający zbyt częstych działań, analogicznie do tego, co mam w Active...

[slawek22]

Raczej musiałbyś się nauczyć administrować serwerem lub zatrudnić kogoś do tego. Z resztą zobacz ile kosztuje serwer z adminką w hetzner. Minimum 330 PLN i w porównaniu z tym co ty masz to straszna lipa.

Wiadomo, co piszą na forach... głupoty Każdy ci powie, że adminem może być byle gimnazjalista a praca nic nie kosztuje. Bo to życzeniowe myślenie. A jak przyjdzie co do czego to znajdziesz kogoś poważnego za 50-100PLN/h (jak będziesz miał szczęście).

Stąd właśnie w H np serwer bez administracji jest o połowę tańszy i ma 2x więcej ramu. W OVH zdaje się, że godzina pracy admina była za 400PLN netto (jak ostatnio widziałem cennik, teraz nawet nie wiem czy takie coś oferują).

Na OVH masz serwery z panelem. Powinno to działać na zasadzie "kupujesz i działa" Ja bym spróbował wyłączyć tego AJAX-a jak to pomoże zrób sobie ajax na ovh przez proxy na nginx.

[wyciorex]

Napisz na ovh za "symboliczną" stówkę ktoś ci na bank założy konto na przyzwoitym skonfigurowanym serwerze - będziesz wiedział wszystko

albo na webhostingtalk.pl

[maciekp]

Dzięki za rady, rozważę wszystkie opcje. Teoretycznie na OVH płaci się opłatę instalacyjną, choć być może nie obejmuje konfiguracji...