WEB Monitor skrypt do sprawdzania site i nie tylko

[bieluch]

Dzięki za wszystkie odpowiedzi

Proxy jest juz opracowane tylko nie przetestowane na początku myślałem właśnie nad php proxy które bedzie sie wgrywało na rożne serwery ale stwierdziłem ze jak na razie prościej bedzie wykorzystać serwery proxy skrypt codziennie w nocy testuje wszystkie serwery proxy i zostawia te w których kod błędu był 200 czas oczekiwania na zgłoszenie strony 10 sekund (będzie można to zdefiniować w ustawieniach w późniejszej wersji)

Zauważ że publiczne proxy są niewiele warte a po co kupować jeśli można by wykorzystać swoje adresy IP, druga sprawa to różna lokalizacja proxy które będą pobierały dane z różnych DC, dlatego jestem jak najbardziej za pierwszym pomysłem

PS. Czyli na chwilę obecna nie ma możliwości uzyskania wersji bez ograniczeń ilości domen ?

[mlody0072]

Zauważ że publiczne proxy są niewiele warte a po co kupować jeśli można by wykorzystać swoje adresy IP, druga sprawa to różna lokalizacja proxy które będą pobierały dane z różnych DC, dlatego jestem jak najbardziej za pierwszym pomysłem smile.gif

Mam teraz mała bazę serwerów proxy z prawie 1200 sztuk działa (według mojego skryptu) nie całe 300 sztuk według mnie dobry wynik Miałem wcześniejszą bazę to było 1 na 1000

Co do DC to bym musiał spróbować ale chyba z tym nie bedzie problemu mam teraz skrypt na ip które bing, yahoo i google bierze jako niemieckie bing przestawiał sie na niemiecki jezyk i nie było wyników problem ten rozwiązałem dodają do linu przy łączeniu google hl=pl bing &setlang=en-US i wszystko działało jak potrzeba (takie same wyniki na ip lokalnym i na serwerze o innym ip)

PS. Czyli na chwilę obecna nie ma możliwości uzyskania wersji bez ograniczeń ilości domen ?

Muszę się zastanowić napisze Ci PW jak coś ale chyba jeszcze według mnie po czekaj bo jeszcze proxy nie działa tak jak trzeba.

[bieluch]

Odnośnie proxy - tylko pamiętaj że jak sprzedasz 100 kopi z tymi proxy to może się skuteczność zmienić

OK czekam na PW

PS. Ja z proxy korzystać nie chcę, wolał bym sobie postawić 2 kopie na 2 IP

[mlody0072]

Proxy nie będzie sprzedawane, tylko skrypt który sprawdzi nam codziennie wrzucone przez nas proxy.

Nie używając tych proxy to codziennie spada wartość dobrych średnio o 5 sztuk

[sleaquit]

pomysl ze zdarzeniami bardzo fajny

odnosnie site w bingu - generalnie do sledzienai paramterow storn interesuje nas w zasadzie to co wybiora wlasciciele swl - bo nie widze innego sensu po co ktos mialby mointorowac sobie poziom bl wlasnych zaplecz w innym celu? na pozycje w googlu to nie wplywa a od tego mamy monitoringi

odnosnie analizy - mozna by to robic gdyby soft byl rozwijany w kierunku analizy konkurencji - takie jest moje zdanie

zreszta gdy juz dopracuje sie pobieranie bl - wtedy mozna o tym pomyslec, tak aby soft umozliwial odrazu analize stron poza top10...

[mlody0072]

Oficjalnie mogę napisać że problem z Fatal error: Koniec licencji in Unknown on line 0 został rozwiązany.

sleaquit -> oczyść PW

pomysl ze zdarzeniami bardzo fajny smile.gif

Czyli wprowadzać tylko mam do nich jedno pytanie czy ma to być zdarzenie ogólne do site, bl, alex i pr ? Czy zrobić możliwość dodania z każdego osobno ?

odnosnie site w bingu - generalnie do sledzienai paramterow storn interesuje nas w zasadzie to co wybiora wlasciciele swl - bo nie widze innego sensu po co ktos mialby mointorowac sobie poziom bl wlasnych zaplecz w innym celu? na pozycje w googlu to nie wplywa a od tego mamy monitoringi

Widzę ze e-weblink.com dorzucił dane www.majesticseo.com to ja u siebie tez zmodyfikuje i wyrzuce trochę zbędnych rzeczy i dane z www.majesticseo.com dorzucę

[Carnagge]

Projekt bardzo fajny i z pewnoscia bede zainteresowany zakupem

Co bym dodal:

1. Mozliwosc ustawienia czestotliwosci sprawdzania konkretnych parametrow zarowno ogolnie jak i dla poszczegolnej strony / grupy. PR nie ma sensu sprawdzac codziennie, wiec fajnei jkaby byla mozliwosc ustawienia sobie zeby sprawdzal co 30 dni. Tak samo fajnie jakby mozna sobie wybrac dla kazdej strony jak czesto ma byc sprawdzana (a najlepiej jeszcze dodatkowo dla calej grupy) - wrzucam jakies 30 mini stron zapleczowych i starczy mi jak beda monitorowane co 10 dni, wiec zeby nie obciazac softu na codzien to ustawiam ich sprawdzanie wlasnie na taki okres.

2. Wspomniane juz proxy dzialajace przez plik. Nie jest to sprawa priorytetowa, ale w przyszlosci fajnie jakby bylo. Mam kilka hostingow z dedykowanym IP - serwera proxy sie tam nie zalozy bo to hosting shared, ale moglbym sobie wykorzystac unikalne IP wlasnie pod taki pliczek.

[edit] Jeszcze mi sie przypomnialo

3. Podawanie IP strony. To jest pomocne jak sie ma stronki na kilku hostingach lub seohostingach, bo po pierwsze pozwala stwierdzic gdzie jest strona, a po drugie jakie IP juz wykorzystalismy z danej puli.

[mlody0072]

1. Mozliwosc ustawienia czestotliwosci sprawdzania konkretnych parametrow zarowno ogolnie jak i dla poszczegolnej strony / grupy. PR nie ma sensu sprawdzac codziennie, wiec fajnei jkaby byla mozliwosc ustawienia sobie zeby sprawdzal co 30 dni.

Tutaj to akurat nie ma problemu ustawiamy crona na plik cronpr.php zeby sie odpalał co 30 dni i juz

ale o tych parametrach do ustawiania na pewno po myślę

3. Podawanie IP strony. To jest pomocne jak sie ma stronki na kilku hostingach lub seohostingach, bo po pierwsze pozwala stwierdzic gdzie jest strona, a po drugie jakie IP juz wykorzystalismy z danej puli.

Juz o tym myślałem i chce zrobić jego wyciąganie przez połączenie sie na dodawaną stronę i zapisanie adresu ip (jak to jeszcze bedzie nie wiem

jest doże rzeczy do przemyślenia wszystko to co piszecie tutaj sobie notuje no i bedę powoli wprowadzał

[kiri]

Czyli jakie teraz są ograniczenia? Można instalować ale co się z tym wiąże? Z tego co widzę, skrypt jest bardzo ciekawy. Byłbym również nim zainteresowany

[sleaquit]

cron odpalany co 30 dni to pomylka - jak wlozysz 1k domen to wyjdzie ze wszystkie ma sprawdzic jednego dnia a przez miesiac skrypt bedzie sie nudzil... tu chodzi o rownomierne rozlozenie

[mlody0072]

Czyli jakie teraz są ograniczenia? Można instalować ale co się z tym wiąże?

Jest ograniczenie do 5 domen i ta wersja działa do końca tego roku.

cron odpalany co 30 dni to pomylka - jak wlozysz 1k domen to wyjdzie ze wszystkie

W sumie co racja to racja wczoraj siedziałem juz nad układem bazy danych jak co rozplanować

- Wczoraj dorobiłem pobieranie danych z majesticseo ogolnie też jest ograniczenie na ich serwerze do 10 pobrań dziennie z jednego IP

- proxy też już wstępnie działa założenie będzie takie że skrypt będzie mógł tylko 10 razy na 24 godziny użyć jednego adresu proxy

- system logów które będą pokazywały wszystkie błędy jak coś pójdzie nie tak w trakcie pobierania danych dla danej domeny (faza testowa)

[bieluch]

Kiedy można na coś liczyć ?

[mlody0072]

Myślę że przed świętami (jest więcej z tym roboty niż myślałem)

ale mam nadzieję ze wyrobię się wcześniej.

prace trwają cały czas

aa i chciałem sprostować swój wcześniejszy wpis

- Wczoraj dorobiłem pobieranie danych z majesticseo ogolnie też jest ograniczenie na ich serwerze do 10 pobrań dziennie z jednego IP

jednak nie jest to ograniczenie do 10 pobran z jednego IP w ciągu dnia tylko jak ich skrypt wykryje zbyt częste odpytywanie w danej chwili z jednego IP daje blokadę na około 15 minut i dalej mozna pobierać dane.

[restful]

Wczoraj zainstalowałem i testuje.

Mam nadzieję, ze za kilka dni będę mógł podać swoje uwagi i spostrzeżenia

[dawstaw]

Podoba mi się ten monitor...wreszcie jakieś fajne narzędzie..proste i przejrzyste...oby tak dalej...