WEB Monitor skrypt do sprawdzania site i nie tylko

[mlody0072]

czekam z niecierpliwością wink.gif wydaje mi się, że czegoś takiego właśnie szukam, ale przydało by sie takie suche info smile.gif

Napisałem do moderatora żeby zmienił mi pierwszego posta ale jakoś nie ma odzewu wiec wkleję go tutaj.

WEBMonitor pozycjonowanie pod kontrolą

Skrypt monitorujący strony internetowe i serwery. Ułatwi Ci życie, uporządkuje strony i będziesz miał je wszystkie w jednym miejscu pod kontrolą. Poniżej większość funkcjonalności.

Podstawowe funkcje skryptu:

- Monitorowanie danych :

- Site: Google i Bing

- BackLink : Google i Bing

- MajesticSEO: referring i external

- AlexRank

- PageRank

- OpenSiteExplorer

Dodatkowo możemy wyłączyć/włączyć monitorowanie niektórych danych , jak i zmienić ich częstotliwość pobierania.

Główne zestawienie

Wszystkie dane są przechowywane w bazię danych i możemy je wyświetlić na przejrzystych wykresach.

- Sprawdzanie na jakim IP jest dana domena możliwość monitorowania czy IP strony się nie zmieniło.

Jeśli IP domeny zmieni się zostanie ona podświetlona na pomarańczowo w zestawieniu dodatkowo będzie umieszczony komunikat w menu. Funkcja przydatna dla ludzi którzy trzymają swoje strony na hostingu SEO, często po resecie serwera przywracają się domyślnie główne IP dla każdej domeny.

- podział stron na kategorie, możliwość dodania strony do kilku kategorii (bez ograniczeń)

Zakładka ustawienia

- linki do plików cron

- ustawienia ilości zapytań podczas jednego cyklu cron

- ograniczenie zapytań z jednego IP w danym przedziale czasowym

- co ile maja być sprawdzane nie używane adresy proxy

- obsługa API OpenSiteExplorer (możliwość dodania wiele API skrypt sobie później losuje z którego ma korzystać)

- wyłaczenie wyświetlania kolumn w zestawieniu

Monitorowanie serwerów

- monitorowanie działania serwerów z dwoma metodami testów, pierwsza metoda sprawdza kod błędu jakie zwraca zapytanie do strony znajdującej się na serwerze drugie uzupełniające sprawdza czy podana przez nas fraza znajduje się w kodzie strony przydatne dla darmowych hostingów w których po blokadzie konta jest zmieniana nasza strona na stronę hostingu. Możliwość ustawienia częstotliwości sprawdzania serwerów z przedziału 1 min - 999min.

Wszystkie komunikaty o błędnym działaniu hostingu są rejestrowane jeżeli skrypt wykryje, że konto hostingowe nie działa wyślę do nas maila z komunikatem które konto nie działa i kiedy zdarzenie miało miejsce . Tak samo będziemy mieli komunikat w naszym panelu.

Monitorowanie pozycji w google

- monitorowanie pozycji fraz w google.pl dla poszczególnych stron z możliwością ustawienia częstotliwości zapytań

Obsługa proxy i phpproxy

- dodano parametr n/a dla PageRank (sleaquit),

- odwrócenie wyświetlania danych o błędach serwera (specjalnie dla smiechan),

- obok Uptime dodano z ilu dni jest obliczana ta wartość (specjalnie dla smiechan),

- poprawiono sprawdzanie IP domen, teraz gdy domena nie działa lub jest wygasła skrypt pokaże w rubryce IP napis "Brak IP" ,

- usunięto pojedyncze dodawanie proxy,

- nowy plik cron_proxy.php który trzeba dodać do harmonogramu cron i odpalać go co minutę link do tego pliku można skopiować w zakładce ustawienia teraz proxy są testowane niezależnie na to czy działają w google, bing i majesticseo inne testy wydają się zbędne, dodatkowo proxy jest losowane na podstawie czasu ostatniego użycia jest to 5 minut tą wartość można zmienić w zakładce ustawienia,

- proxy nie muszą być sprawdzane na wszystkie parametry i nie są mianowicie jeżeli wyłączymy jakaś kolumnę na przykład google site to proxy nie będą testowane dla google tak samo jest dla innych kolumn,

- nowy mechanizm pobierania danych z google jeżeli strona miała więcej niż 10 site to dane pobrane przez skrypt są jeszcze dodatkowo weryfikowane, mniej zawile to sprawdza czy zapytanie nie zwróciło zera albo pustej zmiennej (6 godzin testów mam nadzieje że juz nie nikt nie napisze pobiera zera z google),

- przy pobieraniu danych jeżeli strona nie wczytuje się z danego IP proxy od razu jest wyłączane zostanie sprawdzone w następnym cyklu cron_proxy.php (sprawdza co 3 godziny) tą wartość można edytować w ustawieniach,

- dodano masowe kasowanie nie działających proxy i phpproxy,

- tabela z danymi została trochę "ścieśniona" myślę, że taki format danych jest lepszy a przynajmniej tak miało być (zmiany na życzenie smiechan),

- dodano ikonę znajduje się ona przy adresie IP po jej kliknięciu zostaną wczytane wszystkie kopie stron z których były pobierane dane czyli google, bing, majesticseo w kolejnych wersjach zostanie dodane taka opcja do monitorowania fraz,

- wykrywanie czy dana domena dostała bana i wyleciała z indeksacji w google wykrywany jest w następujący sposób jeżeli domena miała site więcej niż 10 i przy kolejnym sprawdzeniu site nie ma żadnej zaindeksowanej strony skrypt uznaję taką stronę za zbanowaną przez google mechanizm ten jest dodany do site i bl w google

- trochę ulepszona wyszukiwarka działa następująco wybieramy kategorię zawężają nam się serwery oraz adresy IP następnie wybieramy serwer zawężają nam się wszystkie adresy IP tylko do tego serwera, następnie możemy wpisać adres strony którą chcemy odszukać i już. (w późniejszej wersji będzie bardziej dynamiczna ta wyszukiwarka)

- wysyłanie komunikatów na maila o zbanowaniu strony w google (site i bl), komunikaty o stanie serwerów komunikaty tylko o błędach (wersja testowa)

- poprawiona zakładka ustawienia zostały wprowadzone zakładki aby było bardziej przejrzyście czy jest ocenicie sami dodatkowo dodałem krótki opis jak założyć konto na OSE

Komunikaty w panelu

Przykładowy maila z komunikatem

Wymagania:

- Baza danych MySQL

- PHP 5

- CURL

- file_get_contents

- allow_url_fopen działa

w miarę dużo unikalnych adresów IP lub dobra baza proxy

Cena za monitorowanie 100 domen to 60zł

1000 domen 150zł

Jest to skrypt w wersji serwerowej który instalujesz na swoim serwerze.

W celu zamówienia proszę o kontakt na PW

[mlody0072]

Przed chwilo wysłałem aktualizacje z poprawkami

Poprawiono:

- pobieranie google site i bl (z powodu wykrycia bledów przez jednego użytkownika )

- dodano możliwość zdefiniowania po ilu błędnych połączeniach z serwerem skrypt wyśle wiadomość mail i pojawi się komunikat jeżeli wstawimy 0 to będzie komunikat od razu po sprawdzeniu.

- poprawiono dodawanie serwerów (nie ma ograniczenia czasowego i inne rzeczy też poprawiono )

[sleaquit]

jak z obciazeniem u innych userow generowanym przez sql gdy skrypt mieli 24h/dobe? - 1k domen

mam na hekko tylko 2 bazy, webminitor i stat4seo ktore generuje ponizej 0,05% czyli tyle co nic

cron webmonitora od monitoringu parametrow to ok 2% czyli ryra strasznie

wylaczalem rozne crony ale ani do sprawdzania proxy ani do monitorignu serwerow nic nie obciazaja (cron od sprawdzani pozycji wylaczyny)

cale obciazenie generuje tylko cron.php

obciazenie php jest duzo mniejsze: 0,5-1% ale z baza masakra

poza tym obciazeniem bazy to skrypt dziala bardzo dobrze, wiec swoje zadanie spelnia idealnie

jak wyglada to u innych userow ktorzy tez maja sporo domen?

i druga kwestia przy okazji:

jak masowow usuwac strony?

usuwalem ponad 20 domen i musialem to recznie klikac - widze checkboxy przy stronach ale nie wiem do czego maja prowadzic

[mlody0072]

cale obciazenie generuje tylko cron.php

Trochę prawowałem nad zmniejszeniem zapytań do bazy lecz ciężka sprawa jest tyle parametrów do spełnienia ale może coś uda się wymyślić

skrypt miałem na serwerze linuxpl.com który sprawdzał ponad 1000 domen i kilka serwerów co 5 minut (administracja nic do mnie nie pisała)

Wszystkie parametry sprawdzasz dla stron i co jaki okres czasu ?

poza tym obciazeniem bazy to skrypt dziala bardzo dobrze, wiec swoje zadanie spelnia idealnie

Tutaj też w ostatnim czasie starałem się ograniczyć zapytania przy wyświetlaniu danych lecz też widzę, że nawet wygenerowanie ponad 200 zapytań do bazy to strona generuje się w ciągu 0.0889 sec (na serwerze współdzielonym w wyżej wymienionej firmie)

i druga kwestia przy okazji:

jak masowow usuwac strony?

usuwalem ponad 20 domen i musialem to recznie klikac - widze checkboxy przy stronach ale nie wiem do czego maja prowadzic wink.gif

Dwadzieścia to nic ja miałem prawie 100 do skasowania i napisałem hurtowe kasowanie, piszę także hurtową edycję (będzie troche zamotana ale na pewno ułatwi pracę)

Trochę się nie odzywałem ale pamiętam o skrypcie jak mi się uda to pod koniec miesiąca wypuszczę aktualizację.

[sleaquit]

cale obciazenie generuje tylko cron.php

Trochę prawowałem nad zmniejszeniem zapytań do bazy lecz ciężka sprawa jest tyle parametrów do spełnienia ale może coś uda się wymyślić

skrypt miałem na serwerze linuxpl.com który sprawdzał ponad 1000 domen i kilka serwerów co 5 minut (administracja nic do mnie nie pisała)

Wszystkie parametry sprawdzasz dla stron i co jaki okres czasu ?

puki miescisz sie w limicie to nic nie beda pisac ale trzeba miec zawsze bufor na najazd botow, a to obciazenie praktycznie zjada mi go calego

sam przyznasz ze 2% (wczoraj 2,9) generowane przez sam sql to bardzo duzo zwlaszcza na 1 wywolanie na minute, dlatego jestmeciekaw jak to jest u innych osob majacych duzo domen do sprawdzenia

wyobrazasz sobie forum ktore generuje takie obciazenie na jedna odslone?

jako wlasciciel mozesz go sobie odpalic na localu i zobaczyc co sie dzieje

sprawdzam w wiekszosci site (15dni) dla czesci ose+majestic (15dni) + pr+ip+alexa co 30 dni,

alexa bym sobie wylaczyl ale bez masowej zmiany reczne klikanie nie wchodzi w gre

teoretycznie przy cronie odpalanym co minute (1440 razy dobowo) powinien sprawdzic te parametry w ciagu 3 dni, ale kiedy nie spojrze to zawsze mam strony sprawdzane kilka godzin temu - nie wiem wiec jak to dziala, zwlaszcza ze zawsze mam jakies dzialajace dla googla proxy

[mlody0072]

wyobrazasz sobie forum ktore generuje takie obciazenie na jedna odslone? smile.gif

jako wlasciciel mozesz go sobie odpalic na localu i zobaczyc co sie dzieje wink.gif

Co do forum to z tego co pamiętam skrypt phpbb by przemo mało takie wyniki

Wczoraj rozmawiałem z pewnym człowiekiem z forum który podpowiedział mi jak rozwiązać problem myślę że to w 100% rozwiąże dużą ilość zapytań do bazy (jak na razie trzeba po czekać)

sprawdzam w wiekszosci site (15dni) dla czesci ose+majestic (15dni) + pr+ip+alexa co 30 dni,

alexa bym sobie wylaczyl ale bez masowej zmiany reczne klikanie nie wchodzi w gre

Możesz to szybko wyłączyć wchodzisz w ustawienia > Wyświetlane kolumny i wyłącz AlexRank (po zniknięciu kolumny skrypt wyłączy monitorowanie tych danych)

teoretycznie przy cronie odpalanym co minute (1440 razy dobowo) powinien sprawdzic te parametry w ciagu 3 dni, ale kiedy nie spojrze to zawsze mam strony sprawdzane kilka godzin temu - nie wiem wiec jak to dziala, zwlaszcza ze zawsze mam jakies dzialajace dla googla proxy

Sprawdzanie danych jest zrobione tak, jeżeli skrypt napotka problem z połączeniem z jakaś stroną 4 razy próbuje za każdym razem z innego proxy jak nie da się sprawdzić daje sobie spokój ze stroną na jakiś czas i blokuje proxy z których teoretycznie nie mógł się połączyć na jakiś czas.

Dodam później wskaźnik który będzie pokazywał ile dzisiaj ma jeszcze stron do sprawdzenia czy coś takiego.

[sleaquit]

Wczoraj rozmawiałem z pewnym człowiekiem z forum który podpowiedział mi jak rozwiązać problem myślę że to w 100% rozwiąże dużą ilość zapytań do bazy (jak na razie trzeba po czekać)

i jak tam z poprawkami aby odciazyc baze?

no i druga poprawka aby mozna bylo masowo usuwac strony?

[qbeczek]

też jestem zainteresowany tym softem - jak z aktualizacją ?

[sleaquit]

nabieraj i nie zastanawiaj sie

soft jest swietny i w pelni sprawny - to o czym wspominalem wyzej to kosmetyczne poprawki - obciazenie na sharedzie nie bedzie problem jezeli nie nastawiasz tam stron ktore wyladuja w publicznych bazach, aczkolwiek baza jest po prostu niezoptymalizowana i wypadaloby to naprawic

[mlody0072]

Witam

Na razie nie są wypuszczane aktualizacje.

Nie ukrywam ale jest trochę małe zainteresowanie skryptem i chce zrobić jakaś większą aktualizację a nie wysyłać co tydzień pliki żeby coś tam zmienić (za dużo z tym roboty jest i pisania maili w razie problemów).

Od przyszłego tygodnia ruszam z pracami nad aktualizacjami tylko tak szczerze powiem chcąc aby skrypt się lepiej "szybciej" rozwijał potrzebne są pieniądze wiadomo i tak sie zastanawiam nad wprowadzeniem jakiegoś rocznego abonementu, jak by to wyglądało i ile by kosztował tego nie wie nikt.

[bazeus]

Dogadaj się ze sklepami SEO i zrób jakiś program parnterski, wprowadź abonament, byle nieduży i rynek będzie Twój

[MaxPan]

mlody0072 bo cena była delikatnie mówiąc nie adekwatna ta cena co ja dostałem od ciebie na PW za 1000 domen x 5 szt bo mniej więcej 5000 domen chciałem obserwować, to zleciłem i dostałem taka sama aplikację autorska dodatkówo dopisanym powiadomieniami e-mail w razie SITE 0 i innymi bajerami. Musisz zmienić cala strategie sprzedawania, bo jak dla mnie ograniczenia ilości domen do monitoringu jest trocha chore.

[mlody0072]

mlody0072 bo cena była delikatnie mówiąc nie adekwatna ta cena co ja dostałem od ciebie na PW za 1000 domen x 5 szt bo mniej więcej 5000 domen chciałem obserwować, to zleciłem i dostałem taka sama aplikację autorska dodatkówo dopisanym powiadomieniami e-mail w razie SITE 0 i innymi bajerami.

Jak Ci ktoś napisał taki program za 250zł bo chyba tyle napisał Ci za skrypt, to daj mi namiar na tego człowieka będę mu zlecał aktualizacje do napisania

Musisz zmienić cala strategie sprzedawania, bo jak dla mnie ograniczenia ilości domen do monitoringu jest trocha chore.

Początkowo miał być skrypt wolny bez ograniczenia domen lecz na pewno cena by jego wzrosła jak każdy by mógł sobie ile chciał monitorować stron.

Kilka osób pisało do mnie na forum, że lepiej właśnie ograniczyć to na ilość domen i zrobić dla tych co tylko monitoruja na przykład 10 stron jakaś tanią wersję tak się stało. Myślę, że 60zł za skrypt który gromadzi tyle danych w jednym miejscu dla 100 domen to mało i nikt takiego czegoś dla jednej osoby nie napisze.

Ogólnie to może się wszystko zmienić i dostosować się do rynku.

[mj_2000]

Podnieś cenę, bo ta jest śmiesznie niska.

[MaxPan]

mlody0072, za 200 USD u ukraińskiego kodera dostałem skrypt na wyłączność co robi to same co twój + niema ograniczeń w ilości monitorowanych domen, sam harwestuje i sprawdza proxy, wysala mi emalii jeśli mam site 0 lub padł hosting, niegraniczona ilość grup, podgrup, exporty rożnego rodzaju i td, nu i jeszcze parę funkcji których wymieniać nie zamierzam.

mj_2000

Podnieś cenę, bo ta jest śmiesznie niska.

oczywiście i dla dla tego autor pisze :

Na razie nie są wypuszczane aktualizacje.

Nie ukrywam ale jest trochę małe zainteresowanie skryptem

mj_2000 gratuluje podejścia do biznesu strategia "zbierania śmietanki" nie może być w tym przypadku zastosowana, z oczywistych przyczyn.