Publiker

[General_Depet]

Hostującym na Lao nic nie grozi, najwyżej oferta dopłaty za podwyższone limity obciążenia procesora.

Ale paradoksalnie obciążenie procesora jest bardzo niskie.

Problemem są te rzekome "nieoptymalne zapytania do bazy" które czasami idą w setki...

Na zdrowy rozsądek skoro tyle ich jest to powinny niekorzystnie wpłynąć na procek ale nic takiego nie ma miejsca...

[BPSeo]

Każda zmiana danych w tabeli z założonym indeksem przy INNO DB nie jest nieodczuwalna dla MySQL, bo musi przebudować cały indeks.

[Kojotek_OX]

@General_Depet niestety jeśli baza danych MySQL nie jest na osobnej maszynie lub nie leci przez MySQL PROXY nie można wyliczyć indywidualnego zużycia zasobów.

W praktyce wygląda to tak że można liczyć np zużycie przez php usera (php-cgi) zasobów procesora a baza wykonuje się jedna dla wszystkich i wtedy zachodzi konieczność liczenia nie optymalnych zapytań dla poszczególnych kont.

Samo wyliczanie zużycia zasobów przez serwera zawsze zostawia wiele do życzenia i nie można się sztywno trzymać wykresów np można mieć nie optymalne zapytania trwające po kilka sekund ale nie będą one w żaden sposób obciążały serwer lub odwrotnie. Jak jeden user przymuli to automatycznie zwykłe zapytanie u usera X stanie się nie optymalne i będzie się wykonywało znacznie dłużej itd (kiedyś pisałem o tym problemie w innym wątku) Pamiętać należny też że procesor ma ograniczoną ilość wątków jakie może wykonywać i każde następne wątki będą kolejkowanie co może spowodować do przeciążenia - nie ma idealnego sposoby liczenia zasobów od taka prawda

[qazy]

a może by tak ktoś z Laohost się tutaj wypowiedział? Wydaje mi się, że jest na tym forum i przypuszczam, że zagląda w ten wątek.

[aniec2]

A jak z publikerem na Neteasy?

[publiker.pl]

Ze względu na poruszony tutaj temat przeciążeń serwerów na LaoHost zbadaliśmy dokładniej sprawę. Na jednym z kont LaoHost, które jest użytkowane przez klienta, zużycie procesora wynosiło około 10%, zużycie RAM - około 15% i 400 'nieoptymalnych' zapytań. Te trzy parametry zsumowane dają stan ogólny około 5, który przekracza dopuszczalną normę, która wynosi 1.

Słowo 'nieoptymalne' celowo jest tutaj w cudzysłowiu, ponieważ nie odnosi się to do rzeczywistych nieoptymalnych zapytań związanych z konstrukcją bazy danych. Po kontakcie z LoaHost zgodziliśmy się do tego, że logi z działania bazy danych (plik 'slow.log') nie do końca są prawdziwe. Po pierwsze, zdarzają się tam banalne zapytania, których uprościć się już bardziej nie da. Po drugie, to samo zapytanie może przykładowo 20 razy być poprawne, a 1 raz być 'nieoptymalne'. Uzyskałem również informacje, że nie da się tego inaczej zmierzyć niż tymi właśnie pseudo-nieoptymalnymi zapytaniami i firma LaoHost jako jedyna monitoruje te zapytania. Te logi nie są do końca wiarygodne, więc bazowanie na nich nie daje jasnego obrazu obciążenia.

Otrzymałem od LaoHost również informacje, że do tej pory tylko jednemu użytkownikowi zostało zablokowane konto ze względu na przeciążenia - nie można było się z nim skontaktować, baza danych miała 700Mb.

Faktem jest, że Publiker intensywnie korzysta z bazy danych MySql często się z nią komunikując. Postaramy się przebudować kod w taki sposób, aby znacząco zmniejszyć obciążenie bazy - wymaga to jednak bardzo dużej przebudowy kodu aplikacji i tym samym sporo czasu. Nie możemy sobie pozwolić na to, aby optymalizacja wykorzystania bazy danych wpłynęła negatywnie na funkcjonowanie i skuteczność samego programu.

Pomijając ekstremalne przypadki wykorzystywania Publikera do granic możliwości (tak jak poniżej, 3000 wpisów wysyłanych na dzień) użytkownicy Publikera nie powinni mieć problemów z przeciążeniami serwerów. Osobiście od roku czasu korzystam non stop z Publikera na serwerach www.proste.pl (do tego mam tam kilka innych serwisów, pakiet 'Dla zaawansowanych', 109zł/rok) i jeszcze nigdy nie miałem problemów z przeciążeniem bazy, serwera, lub czegokolwiek innego.

Podczas konfiguracji grup należy rozsądnie dobierać wartości podlinkowywania, bo wprowadzanie zbyt dużych wartości może prowadzić do lawinowego przyrostu wysyłanych wpisów. W nawiązaniu do podlinkowywania chciałbym się tutaj odnieść do wypowiedzi:

Ja odnoszę wrażenie że ostatnia poprawka tylko narobiła szkód - znacznie podniosła zużycie zasobów serwera.

I teraz najlepsze oczywiście konto zablokowali jednak publiker oficjalnie nie dodawał już niczego! - tabela cron miała ok 120 mb i wgraną kilka dni wcześniej aktualizację (ostatnia jaka wyszła) - wcześniej jak dodawał to kilka razy wysłali prośbę o optymalizację ale jakoś olanie pomagało - tym razem nie

Na razie nie korzystam z tego narzędzia bo tak między bogiem a prawdą jest to kaszana na maxa że się tak brzydko wyrażę i czekam na nową poprawioną wersję

W tym wątku, trochę wcześniej:

Statystyki ostatnich 30 dni (4 projekty i ok 50 domen)

Informacje o wysłanych/odnalezionych wpisach w wybranym okresie czasu:

Wysłanych: 92771 (do katalogów: 91175, do precli: 1596)

Opublikowanych: 69838 (w katalogach: 68694, w preclach: 1144)

A teraz dla porównania ostatnie 7 dni

Informacje o wysłanych/odnalezionych wpisach w wybranym okresie czasu:

Wysłanych: 23572 (do katalogów: 23570, do precli: 2)

Opublikowanych: 18798 (w katalogach: 18796, w preclach: 2)

Chyba zakończył katalogowanie w precelkach smile.gif - Jak na moje działą wszystko poprawnie (kilka razy tylko az.pl pisało o optymalizację bazy danych hahahah)

W ciągu 30 dni wysłanych 92771 wpisów, czyli 92771/30 = 3092 wpisów na dobę. Przy takiej liczbie wpisów i przy ignorowaniu ostrzeżeń administratora nie ma się co dziwić, że konto zostało zablokowane.

Co do stwierdzenia 'I teraz najlepsze oczywiście konto zablokowali jednak publiker oficjalnie nie dodawał już niczego!', to program nie dodawał już w tym czasie nowych wpisów LINKUJĄCYCH (skończyły się katalogi, do których można wysłać wpis), ale nadal dokonywał podlinkowywania wpisów i stąd obciążenie nadal było wysokie. Mało tego, jeśli spojrzymy na wykres funkcji kwadratowej wykorzystywanej do podlinkowywania, to okaże się, że podlinkowywanie mogło się zwiększać.

Gdy skończą się katalogi, do których można wysłać link, to opcja w grupie 'Linkuj z katalogów' jest automatycznie wyłączana. Natomiast jeśli w tej grupie podlinkowywanie nadal jest włączone i grupa jest opublikowana, to podlinkowywanie trwa.

Jeśli ktoś ma potrzebę tak intensywnego linkowania (3000 wpisów na dobę), to należy się liczyć z możliwością przeciążeń.

[bojanvuk]

Dzięki za informację, publikery!

Sprawdźcie jeszcze u siebie może sprawę w różnicy wydajności przy tabelach innoDB a MyIsam. Może przejście na MyIsam pomoże?

Pozdrawiam,

BV

[Kojotek_OX]

@publiker.pl bardzo dobry cytat tylko że opuściłeś fragment w którym też wspomniałem o fakcie że działało wszystko na starej wersji a nie na nowej tak więc sam się pogrążasz moim cytatem

Fakty: 15 marca umieszczam posta : https://www.forum.optymalizacja.com/index.p...mp;#entry663518 i jak piszę śmiga ładnie (stara wersja publikera)

następnie pod koniec kwietnia dokonuje aktualizacji (nie zostały w tym czasie dokonane żadne zmiany w oprogramowaniu) do najnowszej wersji i 7 maja piszę tego posta https://www.forum.optymalizacja.com/index.p...mp;#entry687571

Więc proszę cię nie pitol głupot - stary soft dział nowy nie działa skaszaniłeś sprawę i to są fakty. Piszę o tym nie tylko ja ale wielu użytkowników i bajeczki że tylko jedno konto zablokowali za publikera można opowiadać w piaskownicy.

Jeszcze raz powtarzam stary publiker o czym już mówiłem działał poprawnie nowy to kaszana

[it_management]

Kojotek nie zgodze sie z Toba.

Ostatnio przerzucilem sobie publikera z dedyka na slabego Vps. Dalej smiga bardzo ladnie,

[Kojotek_OX]

@it_management nie mieszajmy pojęć dedyk i vps to nie shared hosting.

[it_management]

Jesli jest na nim mnostwo innych stron to zachowuje sie dokladnie jak shared hosting.

[marrcee]

Ja również miałem zablokowane konto czyli to już co najmniej 2 Napisałem o odblokowanie, ale jeżeli obciążenie nie spadnie to znów zablokują. A wyższe obciążenie nic nie da, bo skoro przy 100 wpisach na dobę jest obciążenie prawie 3% bez podlinkowania to jak będę miał obciążenie 5% i zwiększę ilość wpisów to znów przekroczy a chyba nie tędy droga...

Ustawienia programu sprawdzałem, kategorie itp są bardzo dobrze dobrane, więcej pomysłów brak...

[salab]

Z tego co pamiętam to już kiedyś o tym wspominałem (i chyba nawet ktoś poparł pomysł o ile dobrze pamiętam), że bardzo przydatna by byłą możliwość jednoczesnego exportu linków dla wszystkich grup w projekcie. W chwili obecnej za każdym razem przy kilkudziesięciu grupach to trwa już długo a nawet nie chce myśleć ile to będzie zajmować jak grup zrobi się kilkaset. :|

PS: wiem, że można ręcznie exportować dane z bazy mysql, ale chyba nie tędy droga

[JereManU]

Ktoś pamięta, jakie były końcówki na przyspieszenie wykonywania danych działań w Publikerze? Nie mogę tego znaleźć.

[lukasha]

Witajcie,

Używam publikera, który podlinkowuje mi wpisy w gotlinku - czas życia linków mam ustawione na 10 dni. Jednakże publiker po 10 dniach nie usuwa linków z gotlinka. Czy wy również macie ten sam problem?

Pozdrawiam

lukasha