WEB Monitor skrypt do sprawdzania site i nie tylko

[sleaquit]

nie działa alexrank, opensiteexplorer i to nie z powodu że mój skrypt sobie nie radzi tylko po prostu nie obsługują te dwa serwisy takich domen.

ose monitoruje idn'y tylko url musi byc z prefiksem xn a krzaczki przekodowane

edit

dlatego idn'y powinienes dodawac w tym formacie do monitoringu

[mlody0072]

ose monitoruje idn'y tylko url musi byc z prefiksem xn a krzaczki przekodowane

edit

dlatego idn'y powinienes dodawac w tym formacie do monitoringu

Ok dzięki za informację

czyli rozumiem że mam domenę świat.pl to sobie ją przekodowuje do takiej postaci xn--wiat-k5a.pl

bo na OSE nie działa https://www.opensiteexplorer.org/links?site=xn--wiat-k5a.pl+

[sleaquit]

czyli rozumiem że mam domenę świat.pl to sobie ją przekodowuje do takiej postaci xn--wiat-k5a.pl

bo na OSE nie działa https://www.opensiteexplorer.org/links?site=xn--wiat-k5a.pl+

dziala tylko dla świat.pl ose nie posiada danych dlatego widzisz komunikat ze nie posiadaja danych

[mlody0072]

Problem z monitorowaniem serwerów rozwiązany

a co do OSE to na to wychodzi że nie trzeba konwertować domen https://www.opensiteexplorer.org/links?site=ogłoszenia.pl (nie klikasz trzeba wkleić w pasek adresu i działa)

ale dla alex rank trzeba konwertować wiec trzeba i tak konwertować PL znaki dodam to w kolejnych aktualizacjach.

Dzisiaj wrzuciłem skrypt testowy na serwer z nowym testerem proxy no i dorzuciłem prawie 20 tys proxy myślę że przez noc się sprawdzą i jutro dam znać Wam co z nich jest jak będzie sporo działających to udostępnię.

Dodatkowo stwierdziłem że trzeba dodać stronicowanie proxy bo teraz to strona się nie uruchamia jak tyle tego jest

///EDYCJA

Powiem Wam tak przez te proxy to tylko czas straciłem baza danych mi padała nie wiedziałem co się dzieje ale przynajmniej znalazłem błąd w skrypcie testującym proxy teraz jak na razie działa stabilnie ale mam tylko 3000 proxy wrzucone do niego.

Co do aktualizacji skryptu to jutro wyślę bo chce jeszcze dodać komunikaty dla stron które dostały bana w google

ogólnie to tak wygląda

Tak wygląda teraz proxy jest testowane na każdy serwis to znaczy na google, bing, majesticseo (inne wydają mi się zbędne)

Jutro zamieszczę także wszystkie zmiany w formę tekstowej.

[mlody0072]

Wysłałem aktualizację na maila wszystkim co mieli wykupioną licencję jeżeli ktoś nie dostał maila proszę o kontakt poniżej lista zmian:

Aktualizacja do wersji 2.5.5

Co nowego zawiera aktualizacja ?

- dodano parametr n/a dla PageRank (sleaquit),

- odwrócenie wyświetlania danych o błędach serwera (specjalnie dla smiechan),

- obok Uptime dodano z ilu dni jest obliczana ta wartość (specjalnie dla smiechan),

- poprawiono sprawdzanie IP domen, teraz gdy domena nie działa lub jest wygasła skrypt pokaże w rubryce IP napis "Brak IP" ,

- usunięto pojedyncze dodawanie proxy,

- nowy plik cron_proxy.php który trzeba dodać do harmonogramu cron i odpalać go co minutę link do tego pliku można skopiować w zakładce ustawienia teraz proxy są testowane niezależnie na to czy działają w google, bing i majesticseo inne testy wydają się zbędne, dodatkowo proxy jest losowane na podstawie czasu ostatniego użycia jest to 5 minut tą wartość można zmienić w zakładce ustawienia,

- proxy nie muszą być sprawdzane na wszystkie parametry i nie są mianowicie jeżeli wyłączymy jakaś kolumnę na przykład google site to proxy nie będą testowane dla google tak samo jest dla innych kolumn,

- nowy mechanizm pobierania danych z google jeżeli strona miała więcej niż 10 site to dane pobrane przez skrypt są jeszcze dodatkowo weryfikowane, mniej zawile to sprawdza czy zapytanie nie zwróciło zera albo pustej zmiennej (6 godzin testów mam nadzieje że juz nie nikt nie napisze pobiera zera z google),

- przy pobieraniu danych jeżeli strona nie wczytuje się z danego IP proxy od razu jest wyłączane zostanie sprawdzone w następnym cyklu cron_proxy.php (sprawdza co 3 godziny) tą wartość można edytować w ustawieniach,

- dodano masowe kasowanie nie działających proxy i phpproxy,

- tabela z danymi została trochę "ścieśniona" myślę, że taki format danych jest lepszy a przynajmniej tak miało być (zmiany na życzenie smiechan),

- dodano ikonę znajduje się ona przy adresie IP po jej kliknięciu zostaną wczytane wszystkie kopie stron z których były pobierane dane czyli google, bing, majesticsero, alexrank w kolejnych wersjach zostanie dodane taka opcja do monitorowania fraz,

- wykrywanie czy dana domena dostała bana i wyleciała z indeksacji w google wykrywany jest w następujący sposób jeżeli domena miała site więcej niz 10 i przy kolejnym sprawdzeniu site nie ma żadnej zaindeksowanej strony skrypt uznaję taką stronę za zbanowaną przez google mechanizm ten jest dodany do site i bl w google

- trochę ulepszona wyszukiwarka działa następująco wybieramy kategorię zawężają nam się serwery oraz adresy IP następnie wybieramy serwer zawężają nam się wszystkie adresy IP tylko do tego serwera, następnie możemy wpisać adres strony którą chcemy odszukać i już. (w późniejszej wersji będzie bardziej dynamiczna ta wyszukiwarka)

- wysyłanie komunikatów na maila o zbanowaniu strony w google (site i bl), komunikaty o stanie serwerów komunikaty tylko o błędach (wersja testowa)

Tak wygląda to teraz w zakładce komunikaty

- poprawiona zakładka ustawienia zostały wprowadzone zakładki aby było bardziej przejrzyście czy jest ocenicie sami dodatkowo dodałem krótki opis jak założyć konto na OSE

[kaiba]

mam wrażenie, że skrypt mocno zwolnił, czy tylko ja mam takie wrażenie ?

po za tym, u samej góry strony mam:

Warning: mysql_num_rows(): supplied argument is not a valid MySQL result resource in /home/...

Warning: mysql_num_rows(): supplied argument is not a valid MySQL result resource in /home/...

[mlody0072]

Warning: mysql_num_rows(): supplied argument is not a valid MySQL result resource in /home/...

Warning: mysql_num_rows(): supplied argument is not a valid MySQL result resource in /home/...

Uruchom jeszcze raz plik aktualizacja_255.php

Jeśli nie pomoże to zaraz przygotuje plik naprawczy (ale u siebie testowałem kilka razy tą aktualizację i błędów nie było)

Zaktualizowałem paczkę zip proszę pobrać jeszcze raz i odpalić plik aktualizacja_255.php i już będzie działać prawidłowo.

mam wrażenie, że skrypt mocno zwolnił, czy tylko ja mam takie wrażenie smile.gif ?

Zwolnił a konkretnie na których podstronach najbardziej ?

[kaiba]

zwolnił w całokształcie

włączyłem aktualizacje jeszcze raz i dalej lipa

brakuje mi jeszcze jednej funkcji w skrypcie: masowe dodawanie fraz

Edit:

ale nie pobierałem od nowa najnowszej paczki, tej co wrzuciłeś parę minut temu, pobrać?

[mlody0072]

Tak pobrać nowa paczkę i odpalić tylko plik aktualizacja_255 i musi działać

a co do spowolnienia to po sprawdzam to i zobaczę możne inni sie tez wypowiedzą w kwestii szybkości działania

Edycja

Plik aktualizacji nowy poprawiony można pobrać https://download.piersa.pl/webmonitor/aktualizacja_255.zip

Jednak w tamtym był jeszcze błąd

Wysłałem wszystkim maile z tym linkiem główna paczka aktualizacyjna też jest poprawiona.

Pozdrawiam

[kaiba]

okej, to pobiorę całą nową paczkę i jeszcze raz zaaktualizuje jutro dam znać

[sleaquit]

mi tam dziala dobrze - i co najwazniejsze dziala znow pod opera wiec generalnie 2 razy szybciej niz pod ff

monitorowanie serwerow teraz tez dziala jak powinno - dzieki za update

i odrazu ciekawostka

wchodze w zakladke proxy a tam adres ip serwera na ktorym jest skrypt (id 1) jest zakwalifikowane jako 'niedzialajace' - ostatnie sprawdzenie 35min temu

ale zonk

poza tym chyba nie dokonca dobrze okresla bledy dla sprawdzania proxy dla googla, te zablokowane zwracaja 302 - i wydaje sie ze to dziala ok, ale czasami w komuniakacie jest blad '0', zakwalifikowane jako niesprawne dla googla a mimo to gdy sprawdzalem to recznie mozna przez nie wyslac zapytania i otrzymac poprawny wynik

edit

i jeszcze jedno co mnie kluje w oczy - jezeli dla monitorowanej strony nie przypiszemy serwera to potem swieci sie na czerwowo (a przynajmniej u mnie swieca sie wszystkie ktore nie maja przypisanego serwera)

[mlody0072]

wchodze w zakladke proxy a tam adres ip serwera na ktorym jest skrypt (id 1) jest zakwalifikowane jako 'niedzialajace' - ostatnie sprawdzenie 35min temu

ale zonk wink.gif

Mogę to wytłumaczyć

Pisząc aktualizacje przerobiłem trochę dane odnośnie proxy i przepisałem po aktualizacji że proxy wszystkie nie działają i skrypt musi je jeszcze raz sprawdzić na nowo.

poza tym chyba nie dokonca dobrze okresla bledy dla sprawdzania proxy dla googla, te zablokowane zwracaja 302 - i wydaje sie ze to dziala ok, ale czasami w komuniakacie jest blad '0', zakwalifikowane jako niesprawne dla googla a mimo to gdy sprawdzalem to recznie mozna przez nie wyslac zapytania i otrzymac poprawny wynik

Z tym Ci powiem też miałem ciekawostkę bo tak niby kod błędu był 200 czyli wszystko ok ma być a strona google się nie wczytywała (biała strona), teraz przy pobieraniu danych sprawdzane jest jeszcze czy strona się wczytała fizycznie bo juz tym kodom nie wieżę

Mam nadzieję, że nie będzie już ZER w wynikach czego Wam i sobie życzę.

Co do kodu "0" to może być tak że proxy ma "duży" time up i strona nawet nie zdąży się wczytać (ten parametr jest na sztywno ustawiony na 9 sekund, 10 było za dużo)

Ja ponownie u siebie wrzuciłem 12 tys proxy do sprawdzanie lecz trochę się na czytałem na necie o tych testach na jednym IP że i tak można dostać bana na główne IP serwera.

Tak na marginesie czym sprawdzasz proxy i na jakiej zasadzie testuje ?

edit

i jeszcze jedno co mnie kluje w oczy - jezeli dla monitorowanej strony nie przypiszemy serwera to potem swieci sie na czerwowo (a przynajmniej u mnie swieca sie wszystkie ktore nie maja przypisanego serwera)

Wiesz czemu świeci na czerwono ? Bo ja wiem pamiętasz jak Ci pisałem żebyś zmienił adres domeny dla serwera jak nie chciał przyjmować takiego samego to wtedy na robiło się i w tabeli dane_test znajdują się wpisy z id_serwer = 0 jak możesz to usuń ręcznie przez phpmyadmin jak nie to mogę coś takiego przygotować w pliku php.

[sleaquit]

Pisząc aktualizacje przerobiłem trochę dane odnośnie proxy i przepisałem po aktualizacji że proxy wszystkie nie działają i skrypt musi je jeszcze raz sprawdzić na nowo.

tak, wiem o tym, ale to bylo kilka godzin po aktualizacji, zreszta w chwili pisania tego posta adres ip serwera dalej jest oflagowany jako niedzialajacy (wg skryptu sprawdzone 2h temu) - wiec nie wiem dlaczego tak się dzieje

Co do kodu "0" to może być tak że proxy ma "duży" time up i strona nawet nie zdąży się wczytać (ten parametr jest na sztywno ustawiony na 9 sekund, 10 było za dużo)

ok czyli tylko szybkie proxy

Wiesz czemu świeci na czerwono ? Bo ja wiem pamiętasz jak Ci pisałem żebyś zmienił adres domeny dla serwera jak nie chciał przyjmować takiego samego to wtedy na robiło się i w tabeli dane_test znajdują się wpisy z id_serwer = 0 jak możesz to usuń ręcznie przez phpmyadmin jak nie to mogę coś takiego przygotować w pliku php.

faktycznie, bylo tam 7 wpisow z id po kilkadziesiat tysiecy, teraz nic sie nie swieci

odnosnie powiadomien o niesprawnym serwerze, pisalem ze powinien byc jakis przedzial czasowy po ktorym zostanie wyslana informacja - bo teraz przy kazdym problemie z polaczeniem dostajemy maila

proponuje aby mozna bylo ustawic dowolna ilosc minut dla kazdego serwera - dla platnego hostingu wystarczy jak strona np nie bedzie dostepna przez 30min i to bedzie dla mnie sygnal o problemie itp

dla darmowek gdzie sprawdzam je tylko raz dziennie takiego maila chcialbym otrzymac np dopiero po 3 dniach problemu z polaczeniem (a wiec przy 3 probie polaczenia)

sadze ze tutaj kazdy by sobie chcial ustawic wlasne kryteria dlatego potrzebny jest duzy przedzial

(no i dlaczego ograniczyles do 999min? - doba ma 1440 )

no i po wyslaniu maila wysylanie kolejnych powinno byc wstrzymane do czasu ponownego poprawnego sprawdzenia serwera (kolejne maile ze dalej nie dziala sa niepotrzebne)

widze tez ze zostawiles swiecaca sie zakladke komunikaty z problemami ktore jednak juz nie wystepuja - nie wiem czy jest sens, bo tutaj zawsze sie bedzie cos swiecic ze byl problem, zwlaszcza gdy ma sie kilka serwero sprawdzanych co kilka minut

poprzednia forma - informowanie tylko o aktualnym problemie bardziej mi odpowiadala

ale jezeli ktos chce wiedziec czy cos mu kiedys nie dzialalo mimo ze teraz dziala to mozesz dac w ustawieniach - 'informuj w zakladce komunikaty tylko o aktualnych problemach'

proponowalbym tez przeniesienie tam takze wiadomosci o udanym polaczeniu ale nieznalezieniu szukanej frazy

[mlody0072]

odnosnie powiadomien o niesprawnym serwerze, pisalem ze powinien byc jakis przedzial czasowy po ktorym zostanie wyslana informacja - bo teraz przy kazdym problemie z polaczeniem dostajemy maila wink.gif

Planowałem dodać że ustawia się ile razy był problem z połaczeniem dla danego serwera na przykład 10 razy nie mógł się połączyć wysyła maila że nie działa.

Jak skasujesz maila to już nie będzie wysyłał tak tylko można to wyłączyć jak na razie (na pewno coś zmienię)

(no i dlaczego ograniczyles do 999min? - doba ma 1440 tongue.gif)

Powiem szczerze, że nie wiem ;P zmienię to na nieograniczony czas

widze tez ze zostawiles swiecaca sie zakladke komunikaty z problemami ktore jednak juz nie wystepuja - nie wiem czy jest sens, bo tutaj zawsze sie bedzie cos swiecic ze byl problem, zwlaszcza gdy ma sie kilka serwero sprawdzanych co kilka minut

poprzednia forma - informowanie tylko o aktualnym problemie bardziej mi odpowiadala

Myślałem, że wiele ludzi będzie interesowało to czy w dniu kiedy nie wchodziliśmy do programu czy coś się działo i żeby te komunikaty były pokazane.

proponowalbym tez przeniesienie tam takze wiadomosci o udanym polaczeniu ale nieznalezieniu szukanej frazy

Jest to już dodane do komunikatów

[Fortel]

(...)

Po tej aktualizacji która bedzie myślę pod koniec tygodnia udostępnię cały wykaz funkcji skryptu i będzie można sobie po czytać

(...)

czekam z niecierpliwością wydaje mi się, że czegoś takiego właśnie szukam, ale przydało by sie takie suche info

pozdrawiam.