OmniPING - automatyczny system pingujący

[Nexus_Media]

@Nexus_Media

Sprawdź na nowej wersji czy będzie działać.

Wgrałem aktualizację oraz przefiltrowałem proxy i zaczęło wysyłać pingi.

Tylko, że mam taki problem, że pingując sitemape adresy za moment są dodawane do "Zaindeksowane podstrony" natomiast pingując adresy gdzie mam dodane komenatrze ScrapeBoxem nie mam takich efektów. Z całej listy adresów które dodałem tylko jeden trafił do "Zaindeksowane podstrony".

EDIT:

Czegoś tu nie rozumiem.

W "Serwery" każdy mam oznaczony jako zbanowany (zapewne ze względu na niedziałające pingowanie komentarzy o którym pisałem wyżej) ale w logach crona widzę wykonywanie kolejnych zadań oraz w "Zaindeksowane podstrony" widzę, że z każdym wykonaniem crona dodawane są nowe adresy z sitemapy.

Kolejna sprawa: po co jest zakładka "Logi serwerów" jak jest tam tylko opcja "Wyczyść logi"? Bezsens. Już lepiej było dać czyszczenie logow do crona jak i tak nie da się ich podejrzeć.

I trzeci problem który przed momentem zauważyłem to ponowne pobieranie danych z sitemapy ;]

Po kiego jest opcja "Usuwanie zaindeksowanych podstron" jak skrypt nie potrafi rozpoznać, że dany url już znajduje się w "Zaindeksowane podstrony"?

[Omni]

@Nexus_Media

1) Co do podstron z komentarzami scapebox... Może po prostu są to słabej jakości strony i Google nie chce ich łykać? Pamiętaj że na pewno nie tylko Ty linkujesz czy pingujesz takie podstrony, są tam setki czy tysiące komentarzy i pewnie wiele osób stara się to zaindeksować. Więc jakby Google chciał to by zaindeksował na pewno to i bez Twojego pingowania. Ale możemy to dokładnie sprawdzić i się upewnić, jak odezwiesz się do mnie i dasz namiary FTP to zerknę na to.

2) To że serwery są zbanowane nie znaczy że cron się nie wywołuje. Cron się wywołuje co minutę nawet jak nie ma działającego serwera. Po prostu nic skrypt nie zrobi i się od razu wyłączy. Zbanowane serwery nie przeszkadzają też w sprawdzaniu zaindeksowanych podstron.

3) Co do "Logi serwerów" sprawdź czy masz cokolwiek w pliku logów /bin/serv_msg.log jak jest tam pusto to sprawdź prawa zapisu do tego pliku i nadaj prawa odpowiednie.

4) Kwestie z ponownym pobieraniem zaindeksowanych podstron sprawdzę.

@neox

Poprawki są i działają ok a głównym czynnikiem tego, że u Ciebie są problemy to to że:

1) Proxy które są dodane praktycznie wszystkie nie działają

2) Ustawiłeś czas wykonywania crona na 300 s jak dobrze pamiętam co za tym idzie 5 cronów chodziło nara, że tak powiem jeden na drugim

I teraz jak było już napisane przez Kojotka program losował jedno proxy na jedno wywołanie crona. A że cron u Ciebie chodził 5 minut więc się nie ma co dziwić że proxy łapały 500 błędów zwłaszcza jak nie działały... A jak nie działają proxy no to nie ma się też co dziwić że dwa serwery pingujące, których używasz, raz dwa zbanowały IP serwera jak 5 cronów naraz chodziło praktycznie...

Siedząc już nad tym przygotowałem kolejną wersję. Szczegły poniżej.

Zmiany w OmniPING 1.3.0

- kolejne usprawnienia w obsłudze proxy. Teraz program różnicuje proxy przy każdym żądaniu a nie raz na wywołanie crona. Tak więc problem jak powyżej u neox-a gdzie nawiązuje dziesiątki połączeń naraz powinien być rozwiązany.

- możliwość resetowania błędów dla proxy z panelu

- możliwość odbanowania proxy z panelu

- poprawki wydajnościowe

- usprawnione i bardziej wydajne sprawdzanie zaindeksowania w Google

- możliwość wybrania do czego chcemy używać proxy (pingowanie, sprawdzanie zaindeksowawnia)

- naprawiona informacja o najnowszej wersji w zakładce "Info o wersji"

- kilka innych drobnych usprawnień

Po wgraniu aktualizacji należy odpalić plik update_main.php

[Nexus_Media]

@Nexus_Media

1) Co do podstron z komentarzami scapebox... Może po prostu są to słabej jakości strony i Google nie chce ich łykać? Pamiętaj że na pewno nie tylko Ty linkujesz czy pingujesz takie podstrony, są tam setki czy tysiące komentarzy i pewnie wiele osób stara się to zaindeksować. Więc jakby Google chciał to by zaindeksował na pewno to i bez Twojego pingowania. Ale możemy to dokładnie sprawdzić i się upewnić, jak odezwiesz się do mnie i dasz namiary FTP to zerknę na to.

2) To że serwery są zbanowane nie znaczy że cron się nie wywołuje. Cron się wywołuje co minutę nawet jak nie ma działającego serwera. Po prostu nic skrypt nie zrobi i się od razu wyłączy. Zbanowane serwery nie przeszkadzają też w sprawdzaniu zaindeksowanych podstron.

3) Co do "Logi serwerów" sprawdź czy masz cokolwiek w pliku logów /bin/serv_msg.log jak jest tam pusto to sprawdź prawa zapisu do tego pliku i nadaj prawa odpowiednie.

1. Domyślałem się, że może mieć na to wpływ to, że wiele innych osób może pingować wpisy.

2. Z tym wywoływaniem crona jest różnie bo raz wywołuje się co minutę a później nagle ma przestój parę godzin aby "obudzić" się na jeden strzał i znowu przestać pracować.

3. Faktycznie tu był problem z chmodami ale to nie z mojej winy bo w dokumentacji nie było o tym mowy.

BTW. Zaktualizujcie dokumentacje i poprawcie błędy ortograficzne bo kłują w oczy

Z tego co widzę to do "Zaindeksowanych podstron" dodają mi się tylko wpisy z sitemapy, a pingowanie kanałów RSS nie przynosi nic więcej poza błędami w logach serwera. Wie ktoś jaki może być powód?

[Omni]

@Nexus_Media

Wywołanie crona powinno być ciągłe co minutę bez żadnych przerw. Jeżeli tak nie jest to coś u Ciebie się dzieje złego. Odezwij się na PW czy maila z danymi do FTP. Bez tego nie pomogę. Tak samo z kanałami RSS, może z jakiegoś powodu źle zczytał adresy podstron z takiego kanału i wtedy będzie wywalać błędy na serwerach...

[neox]

@neox

Poprawki są i działają ok a głównym czynnikiem tego, że u Ciebie są problemy to to że:

1) Proxy które są dodane praktycznie wszystkie nie działają

2) Ustawiłeś czas wykonywania crona na 300 s jak dobrze pamiętam co za tym idzie 5 cronów chodziło nara, że tak powiem jeden na drugim

I teraz jak było już napisane przez Kojotka program losował jedno proxy na jedno wywołanie crona. A że cron u Ciebie chodził 5 minut więc się nie ma co dziwić że proxy łapały 500 błędów zwłaszcza jak nie działały... A jak nie działają proxy no to nie ma się też co dziwić że dwa serwery pingujące, których używasz, raz dwa zbanowały IP serwera jak 5 cronów naraz chodziło praktycznie...

@omni, to nie było tak jak piszesz:

- proxy są sprawne i były sprawne cały czas, a jeśli je testowałeś pod innym IP to się nie dziwię, że nie działały - one są przypisane do konkretnego IP,

- ustawiłem crona w ten sposób w czasie testów, dodam że testowałem od 40 sekund wzwyż. Wszystko się sypało nawet przy 40 sekundach.

[neox]

"- poprawa zerowania banów tymczasowych"

Nie wiem co autor mial na myśli, ale u mnie z 4 serwerów dwa są całkiem zbanowane, a dwa niby tymczasowo, z tym, że czas ich odbanowania minał dawno temu. U mnie się jakoś nie zerują bany tymczasowe, dlaczego?

Ja już naprawdę nie wiem jak używać tego skryptu - z proxy źle, bez proxy też źle...

[Tomaan]

Pingowanie jest sexy

[ragnar23]

e czy jest jakiś sposób żeby sprawdzić czy omniping wyrabia sie z robotą?

[neox]

@ragnar23, pytałem o to pomoc techniczną, ale mi nie odpowiedzieli.

Mam wrażenie, że w ogóle olali ten skrypt. Wyszła nowa wersja, ale wszytko działa tylko przez chwilę...

[ragnar23]

hmmm... ja aktualnie nie narzekam.... jak sprawdzanie indeksacji nie działało... to teraz cały czas sprawdza... a serwery mają u mnie od zawsze tylko terminowe bany (nie używam proxy), ale w różnych odstępach więc pingowanie cały czas jakoś się odbywa, ale i tak wolałbym aby został wprowadzony system puszczania 1link na 1serwer... a nie 1link na wszystkie serwery... bo przy 50sek działania crona, wysyła ping dla zaledwie 18 adresów, a mógłby w moim przypadku wysłać 18x5=90 pingów dla różnych adresów. 5- to oczywiście moja liczba serwerów na liście.

[Omni]

@neox

Testowałem proxy z Twojego serwera, nie z innego IP. I nie działały, wgrałem na chwile moje proxy i wszystko śmigało ładnie. Ale wiem już w czym problem. Wysokie porty serwerów masz ja miałem przeważnie 80 i 8080. Dlatego moje proxy działały na Twojej kopii... I stąd takie wnioski miałem. Prawdopodobnie jutro wyjdzie nowa wersja. Gdzie poprawiona będzie obsługa tych portów z wysokim numerem i kilka nowości.

Edycja:

@ragnar23

Na ten moment można odpalić plik crona ręcznie od czasu do czasu i jak napisze tylko "ok" no to skrypt nie ma co robić. Pomyślę nad innym sposobem,aby np podawał ile minut bezczynności miał dnia poprzedniego czy coś w tym stylu. Statystyk jednak (ile pingów, na jakie domeny, serwery) wprowadzać nie będziemy, skrypt od samego początku z założenia miał być "lekki" dla serwerów aby go było można trzymać na jakimkolwiek serwerku i aby nie obciążął zbytnio maszyn.

UWAGA: nowy adres e-mail do mnie bo na stary często nie dochodzą do mnie wiadomości omni.pomoc małpka gmail.com

[neox]

@omni, jedyna poprawka jaka tu na pewno by się przydała, to poprawka wydajnościowa. Moja kopia po prostu chyba nie wyrabia się z taką ilością pingów jaka jest dla mnie ustawiona. I nie ma tu znaczenia, że wprowadzisz obsługę proxy z takim czy innym portem - ja bez proxy mam z tym skryptem takie same problemy, moje serwery są ciągle banowane.

Jeśli nie chcecie czy nie możecie wprowadzić poprawki wydajnościowej, to po prostu napiszcie ile pingów na dobę może wykonać ten skrypt i podajcie sposób na obliczenie takiej ilości.

[www.skrypty.pro]

Tak czytam o tych proxy i mam pytanie - od tygodnia uzywam Omniv2, przegladam omnipinga i nigdzie nie widze ustawien proxy - gdzie to jest?

Mam postawione na vpsie gdzie ciągle są bany, także chciałbym użyć proxy.

[soprano]

USTAWIENIA >> i tam w pierwszej zakładce da się to ustawić, aby program używał proxy.

[ragnar23]

Na ten moment można odpalić plik crona ręcznie od czasu do czasu i jak napisze tylko "ok" no to skrypt nie ma co robić. Pomyślę nad innym sposobem,aby np podawał ile minut bezczynności miał dnia poprzedniego czy coś w tym stylu. Statystyk jednak (ile pingów, na jakie domeny, serwery) wprowadzać nie będziemy, skrypt od samego początku z założenia miał być "lekki" dla serwerów aby go było można trzymać na jakimkolwiek serwerku i aby nie obciążął zbytnio maszyn.

No mi wystarczy informacja ile pingów udało się posłać w ciagu doby. Jeśli mam niezbanowane serwery i utrzymuje się tendencja 90 pingów na minutę, no to prostą kalkulacją 90x60x24 = 129600 pingów na dobę. Podzielę to na 5 (liczba serwerów) to mi wychodzi 25920 stron odpingowanych na dobę. Not bad... o ile statystyki potwierdziłyby to