Prośba o ocenę obciążenia serwera

[maciekp]

Witajcie,

mam do Was prośbę o pomoc w oszacowaniu wydajności serwera, na który powinien zostać przeniesiony mój serwis. Od lat mam przestrzeń dyskową w Active24 (serwer Home). Muszę powiedzieć, że są w miarę OK, "współpraca" na ogół układała się poprawnie. Niestety, mój serwis - słownik niemiecko-polski on-line - generuje duże obciążenie. Swego czasu pobierał za pomocą funkcji eregi (wstyd się przyznawać...) hasła słownikowe jako "rekordy" w postaci linijek tekstowej "bazy danych". Jesienią ubiegłego roku najwyraźniej adminom znudziło się obciążenie, na które narażał serwery, bo momentalnie doszło do istnego "zwisu" - wszystko działało koszmarnie wolno, transfer był drastycznie ograniczony. Zmuszony do działania odpowiednią argumentacją Active24, postawiłem wreszcie bazę mysql. Zachwyciła mnie od początku: błyskawiczna, problem wydawał się zażegnany.

Niestety, funkcje obsługujące bazę również mają swoje spore mankamenty. M.in. dlatego, że baza wyrazów jest tak naprawdę jednokierunkowa (niemiecki - polski) i ma strukturę tradycyjnego słownika, przez co np. szukanie haseł po wpisaniu słów polskich odbywa się za pomocą %like% z wieloma wariantami typu: ", wyraz,", >wyraz,", ", wyraz<", aby wydłubać precyzyjnie z definicji CAŁE wyrazy, a nie ich fragmenty i niczego nie zgubić (w definicji są np. tagi pogrubiające, stąd wykorzystuję znak "<").

Unikatowych gości przykładowo w kwietniu miałem ok. 5500 dziennie. Rekordów - ich liczba stale rośnie - jest ok. 33 tys., główna kolumna każdego (z definicją) jest przeszukiwana kilkunastoma wariantami %like%, ale jeszcze potem - na wypadek literówki/błędu użytkownika - przeszukiwana jest np. kolumna z wyrazami niemieckimi i każdy wyraz porównywany z hasłem wpisanym przez użytkownika za pomocą similar_text... Jednym słowem sporo roboty ma serwer. Dosłownie dzisiaj znowu - jak poprzednio na starym rozwiązaniu - nastąpił dramatyczny spadek przepustowości. Znowu bez komentarza ze strony serwera - Active od strony komunikacyjnej nie jest zbyt solidny.

Wobec zbliżającego się za kilka tygodni końca okresu rozliczeniowego mam do Was pytanie, na co najlepiej mój słownik należałoby przenieść? Active proponował mi serwer semidedykowany, ale nie wiem, czy udźwignę go finansowo (Adsensy aż takich kroci mi nie przynoszą, a nie chcę dopłacać do "zabawy"). Myślałem o kei.pl - może dałoby się w razie czego coś wynegocjować. Przeglądałem ofertę - może Aztec lub Luna by wystarczyły?... Co sądzicie? Będę niezmiernie wdzięczny za wszelkie wskazówki.

EDIT: aha, jeszcze wyszukiwarka zapisuje hasła nieznalezione w bazie do oddzielnej tabeli. Spokojnie ponad 10 tys. dziennie... I jeszcze jedno: tak jak ongiś jesienią zeszłego roku, mam wrażenie, że nagły "paraliż" serwisu nie jest bezpośrednim efektem wzrostu liczby zapytań do bazy (aż takiego dzisiaj nie było w stosunku do wczoraj), tylko pewnej decyzji administracji. Dobrze rozumiem motywy - ochrona innych użytkowników - ale mogliby to jakoś komunikować...

[Dominik23]

Active proponował mi serwer semidedykowany [..]

Norma, dla tego typu firm hostingowych najlepiej mieć tylko wizytówki firm które nie zjadają dużo transferu i miejsca na serwerze.

Mogę cie pocieszyć, że mogli ci dać dwutygodniowe wypowiedzenie umowy, zwracając cześć kosztów.

[..] mam do Was pytanie, na co najlepiej mój słownik należałoby przenieść?

https://www.ovh.pl/produkty/oferty_rps.xml

[Sponsi]

Mocny shared, ale to też pewnie admin będzie musiał popatrzeć, czy to ma sens (strzelam, że jednak nie będzie miało sensu)... albo hosting tzw. dedykowany, czyli VPS+DA+opieka admina.. np. deho.pl (Smallservers).

To tak na szybko...

Inna sprawa, że Active24 to nie jest jakaś rewelacja (śmiem twierdzić, że totalnie odwrotnie)...

[maciekp]

Te ovh mnie zainteresowały, pytanie jaki pożytek byłby dla mnie np. ze standardowego RPS III... Od biedy udźwignę jeszcze IV. Zawsze pewnie będzie można z nimi to i owo ustalić i zmienić w razie czego opcję... Mam nadzieję.

[it_management]

Moze warto jednak zmienic cos w samej bazie ?

[zielony_gremlinek]

hmm, z tego co piszesz, to ja bym zaczął od optymalizacji bazy i zapytań, dodać indeksy, itp, a dopiero potem zastanawiać się nad hostingiem. 5,5k to nie aż taki straszny ruch, nawet dla systemów z dość złożoną bazą, więc wg mnie taniej i szybciej poprawić bazę, niż bujać się i przenosić to do innych firm, gdzie problem może być ten sam.

[maciekp]

Tak, to jest jakaś opcja - ale niezmiernie trudna do realizacji. Bazę haseł robię od prawie 10 lat, ma on pewne wzorce - jak napisałem wyżej zgodne z tradycyjnymi słownikami - i zmiana byłaby bardzo trudna (nawet jeśli jestem w stanie napisać w miarę inteligentny skrypt w php lub porgramik w starym jarym Visual Basic 6, który by "poszatkował" hasła) oraz zubażająca moim zdaniem zawartość informacji. Poza tym nie obyłoby się i tak bez funkcji similar_text, funkcji konwertującej do ascii bez polskich znaków - bo użytkownicy wpisują wyrazy po swojemu. Ani nie obyłoby się bez %like%, bo w niektórych polach musiałyby wylądować całe wyrażenia, nie dałoby się wszystkiego rozbić do pojedynczych słów.

Najgorsze jest to, że słownik na tym - bądź co bądź amatorskim - serwerku wirtualnym działał nawet przy dużym obciążeniu bardzo dobrze. Najwyraźniej problemem jest dobro innych użytkowników serwera, skoro obsługa ewidentnie "przykręciła śrubę". Pytanie, na jakim serwerze moje "rozwiązania" mogłyby szaleć swobodnie...

EDIT: odpowiedzi zielonego_gremlinka nie czytałem przed tym postem... Może coś można zrobić, ale być może przekracza to moje zdolności programistyczne. Indeksy? Parę razy czytałem o nich wzmianki, ale dalej nie kapuję. Może to kwestia paru nocy googlania. Pewnie warto...

Aha, dodam jeszcze, że działają podpowiedzi haseł niemieckich w ajaxie... Stronka to www.depl.pl W tym momencie działa nawet sprawnie - godziny szczytu minęły...

[design]

Może znajdziesz kogoś kto ma dedykowany serwer wykupiony. Wiem że to spory wydatek kilka tyś zł ale jeśli ktoś ma to może w cenie 100-300zł udostępni Ci niewykorzystaną część. Mój kumpel kiedyż musiał dla swojego klienta postawić dedykowany serwer ze względu na jeden parametr. Teraz pewnie trzyma tam typowe stronki cms dla swoich klientów a taki serwer to juz coś.

[maciekp]

Raczej nie mam takich znajomości... Teoretycznie mógłbym założyć w kei.pl (to chyba jednak firma o niebo lepsza od active24, a jednocześnie opcja znacznie droższa) serwer wirtualny Aztec próbnie na 14 dni. Jeśli udostępniają diagnostykę, to okaże się, czy serwer jest w stanie udźwignąć mój serwis. W razie czego pomyślę nad ovh. Równolegle mogę kombinować z optymalizacją bazy (choć czarno to widzę - pogooglałem trochę o przyspieszaniu mysql i nie znalazłem wiele realnych na obecny moment rozwiązań), ale i tak active24 mam już trochę dość (i tak mam u nich hosting od 2001 r.!)...

[bojanvuk]

maciekp optymalizacja naprawdę możesz działać cuda! Mówiąc o optymalizacji mam na myśli:

0. Przycięcię tabel z logami (vide nieznalezione zapytania - potrzebne Ci wszystkie rekordy z x miesięcy? wyczysć może wszystko prócz ostatnich)

1. Przemyślenie struktury danych

2. Analiza i przepisanei zapytań w kolejności od najczęstszych i najbardziej obciążających

3. Założenie indeksów

To może sporo pomóc! Znajdź sobie kogoś znającego mysql, nie musi być mistrz świata, byle by miał trochę doświadczenia.

Pozdrawiam,

BV

[slawek22]

Unikatowych gości przykładowo w kwietniu miałem ok. 5500 dziennie. Rekordów - ich liczba stale rośnie - jest ok. 33 tys., główna kolumna każdego (z definicją) jest przeszukiwana kilkunastoma wariantami %like%, ale jeszcze potem - na wypadek literówki/błędu użytkownika - przeszukiwana jest np. kolumna z wyrazami niemieckimi i każdy wyraz porównywany z hasłem wpisanym przez użytkownika za pomocą similar_text... Jednym słowem sporo roboty ma serwer.

Jeśli robisz LIKE czy inne zapytanie które nie koniecznie używa kluczy... to przy 33k haseł masz tak jakby 5500uu * kilkanaście... bo każdy z wariantów LIKE się wykona oddzielnie, więc nic dziwnego, że ograniczyli ruch.

Co do rozwiązania - spróbuj najtańszy VPS w statnet.pl za 24pln/miesiąc - zainstaluj debiana z mysql (bez innodb) (5 minut roboty) - bazę trzymaj tam, stronę zostaw w active i poproś o zdjęcie blokad. Baza jest mała raczej musi dać radę... jak co to wyższy pakiet (plusem jest to, że jak zacznie wolniej działać to po prostu przechodzisz na wyższy pakiet). AJAX może zwolnić, to już niestety trzeba sprawdzić. Jak w ten sposób nie da rady spróbuj doinstalować tam apache i przenieść wszystko.

RPS-ów nie polecam (ze wzg. na dysk sieciowy) jak OVH to dedyki.

Równolegle mogę kombinować z optymalizacją bazy

Przy tak małej bazie raczej nic nie zoptymalizujesz. Trzeba wszystko przeprojektować (strukturę i zapytania).

[maciekp]

Z modyfikacją bazy faktycznie chyba musiałbym skorzystać z pomocy fachowca. Moje chałupnicze metody na pewno dają zadowalające efekty, jeśli chodzi o funkcjonalność - a baza jest jaka jest, przyzwyczaiłem się do niej, a poza tym służy też jako baza dla słownika "off-line" instalowanego na dysku - jasne, że można by przy każdym jej uaktualnianiu odpalać szereg skryptów, które by ją modyfikowały jeszcze na etapie edycji (gdy jest zwykłym plikiem tekstowym - zwykłe operacje na łańcuchach...), ale sam nie wiem (żadnego benchmarkingu nie wymyśliłem), co jest głównym źródłem obciązenia: like czy może cały szereg dalszych procedur, naprowadzających użytkownika, który wpisał jakieś bzdury. No nieważne, nie nudzę Was już.

Statnet wydaje się sensowny i nawet niezbyt drogi. Co prawda nie potrzebuję jakichś specjalnych transferów na obszarze Niemiec (większość użytkowników to raczej młodzież z Polski), ale tak czy inaczej oferta ciekawa i nie wiem, czy z czasem nie przeniosę tam całości. Co do active, to nie podoba mi się kompletny brak feedbacku - mogliby chociaż wysyłać coś automatycznie, gdy coś robią / coś się złego dzieje. Nie wiem, na czym dokładnie polega ta "blokada" - obecnie strona działa szybciutko, choć oczywiście wiąże się to z mniejszym ruchem w tych godzinach.

[Sponsi]

maciekp moja kobieta jest filologiem germańskim, a ja sam działam w edukacji i ICT i takich tam... więc w takim specjalnym wypadku mogę z Tobą coś "porobić"... mam VPS-a z DA, a jeśli ten serwis jest naprawdę dobry, to mogę Ci nawet kupić jakiegoś VPSa i go skonfigurować ; ) ale to tak wybiegając w przyszłość...

Jeśli jesteś zainteresowany, to napisz do mnie na GG 901 974

Mogę obiecać na pewno testy 24-48h żeby zobaczyć jak to naprawdę się zachowuje (popatrzymy sobie na wykresiki ; )

[Mion]

Mając do dyspozycji VPS/dedyk można zastosować memcache które jest idealnym rozwiązaniem odciążającym bazy danych

---

Tak na marginesie teraz 20 godzina serwish "chodzi" momentami fatalnie

[Lesiu]

Te ovh mnie zainteresowały, pytanie jaki pożytek byłby dla mnie np. ze standardowego RPS III... Od biedy udźwignę jeszcze IV. Zawsze pewnie będzie można z nimi to i owo ustalić i zmienić w razie czego opcję... Mam nadzieję.

To już bardziej opłaca Ci się wziąć najtańszego dedyka z oferty kimsufi niż to RPS III.