WEB Monitor skrypt do sprawdzania site i nie tylko

[Xemix]

Fakt, niedopatrzenie moje. No w sumie masz rację, czekamy na odpowiedź autora.

[mlody0072]

a czy te wszystkie nowe aparametry z majestica bedzie mozna wylaczyc w wyswietlaniu? bo jak kogos interesuje tylko liczba linkow do podgladu to pozostale kolumny beda wprowadzac niepotrezbny metlik - od czasu do czasu bedzie mozna sobie to wlaczyc do podgladu ale na codzien zadne swle z tego nie korzystaja wiec i dla nas nie jest to specjalnie przydatne do ogladania wink.gif

Myślałem o tym bo trochę tego jest i zrobię jednego "ptaszka" który wyłączy wszystkie dodatkowe dane w majesticseo i zostaną tylko referring , external i Ref. Class takie podstawowe które biorą pod uwagę systemy SWL.

Wieczorem możecie spodziewać się wiadomości na maila z aktualizacją.

// Edycja

Aktualizacja została wysłana do każdego kto ma licencję.

Dodałem jeszcze taką małą opcję w zakładce ustawienia > ustawienia - dane fresh czyli ile minut po pobraniu jakiejś wartości ma być podświetlony wiesz w tabeli na zielono sygnalizując pobranie nowych danych dla tej strony. Możemy regulować tą wartość od 0 do 200 minut, wartość zero jest równoznaczne z wyłączeniem tej funkcji. Po aktualizacji wartość domyślna jest ustawiona na 60 minut. Wygląda jak na zrzucie ekranu poniżej

Mi ta opcja się spodobała bo często sam jak wchodziłem do panelu to nie wiadomo czy dane są jakieś pobrane teraz czy dwa dni temu i trzeba było śledzić co i jak a teraz myślę że ułatwi sprawę.

- zmiana wyglądu wyświetlania serwerów teraz możemy dodać wszystkie dane o serwaech i mieć je w jednym miejscu (dodatkowo dodałem geolikalizacje IP serwera)

- dane o lokalizacji serwerów i domen są aktualizowane co 10 dni są tylko spradzane tylko te strony które nie można było sprawdzić w poprzednim cyklu (pozniej dodam możliwość konfiguracji)

- dane o wieku domeny aktualizowane są co 15 dni tak samo jak w przypadku lokalizacji IP sa spradzone tylko niewykryte strony

[bazeus]

Fajna aktualizacja, sporo dobrych funkcji, taka uwaga na szybko: chciałbym jeszcze mieć możliwość sortowania / filtrowania wg wieku strony, tak żeby odławiać te najbardziej wartościowe.

[mlody0072]

chciałbym jeszcze mieć możliwość sortowania / filtrowania wg wieku strony, tak żeby odławiać te najbardziej wartościowe.

Na piszę krótko "da się"

Planuje trochę zrobić innych zakładek takich z zestawieniami różnego typu jak na razie mam takie pomysły:

- podział na IP jest teraz ale działa jak potrzeba

- podział na geolokalizację

- najlepsze strony tutaj tak by było do wyboru największe site, najwiecej BL i inne dane które są pobierane przez skrypt.

- zestawienie po wieku domen (na przykład wszystkie domeny co maja 4 lata , 3 lata, 2 lata i ilość ich oraz spis)

jeśli macie jakieś pomysły na zestawienie to pisać zobaczę co da się zrobić

- dodatkowo chce jeszcze zrobić zestawienie dla całej całej kategorii takie na wykresach jak kiedyś chciał sleaquit

[Xemix]

Przydała by się możliwość masowego usuwania proxy, które nie działają np. tylko pod MajesticSEO czy Google. Do tego jeszcze wyłączenie/usunięcie sprawdzania danych z IP serwera (chodzi o to, aby sprawdzało tylko przez proxy).

Aha i popraw błędy w layoucie bo jakoś mnie to razi w oczy

#edit: Odświeżam ręcznie dane strony i dostaję: "BLAD_POLACZENIA" - czym jest to spowodowane i jak to naprawić?

[mlody0072]

#edit: Odświeżam ręcznie dane strony i dostaję: "BLAD_POLACZENIA" - czym jest to spowodowane i jak to naprawić?

Myślałem że nikt nie używa ręcznego pobierania danych

Nie no tak na prawdę to wywaliłem zapętlanie jeśli nie udało się połączyć trochę to obciążało serwer i wydłużało proces sprawdzania stron.

Spowodowane jest to tym, że proxy sprawdzane są tylko czy da się połączyć ze strona majescicseo a jak pobiera dane sprawdza czy się wczytała strona prawidłowo zostanie to naprawione w nastepnej wersji.

Aha i popraw błędy w layoucie bo jakoś mnie to razi w oczy biggrin.gif

Napisz mi na maila co i jak najlepiej jakiegoś screena będzie mi łatwiej

[straseusz]

Na tym etapie skrypt jest już fajnym narzędziem, można wrzucić wszystkie zapleczówki i chociaż się nie pogubi człowiek jakie domeny są

W przypadku banów - fajny system wykrywający.

Jedno ale - jeśli domena dodana jest z www i ma w .htaccess przek. na bez www => podaje site:0, nie jest to prawdą - warto by ucinać www przed sprawdzeniem etc.

Pozdrawiam

[mlody0072]

Jedno ale - jeśli domena dodana jest z www i ma w .htaccess przek. na bez www => podaje site:0, nie jest to prawdą - warto by ucinać www przed sprawdzeniem etc. wink.gif

Moge uciąć ale często były takie przypadki że ktoś miał ją celowo z www to w takiej postaci powinien ją dodać.

Mogę zrobić wykrywanie przekierowywania na stronie i skrypt sam oceni czy jest z www czy bez www.

Tylko nie wiem czy na wszystkich serwerach będzie działać ta opcja musi być PHP w wersji większa od 5.3 z tego co pamiętam.

Na marginesie dodam, że dodałem do opensite explorer pobieranie mozrank, Page Authority i Domain Authority

oraz dodałem nową konfuigurację zestawienia teraz każdą kolumnę możemy wyłączyć niezależnie funkcje te pojawią się w najbliższej aktualizacji.

[sleaquit]

no teraz obciazenie jest znikome wiec tak jak powinno byc - swietna robota

i na koniec dwie kosmetyczne poprawki

1)gdy dodajesz phpproxy w formacie https://ip/plik

skrypt sprawdza jego ip i wyswietla komunikat 'brak ip' - ale to kosmetyka bo normalnie sie z nim laczy i phpproxy dziala poprawnie

2) w zakladce serwery jezeli dodasz do sprawdzania strone z katalogiem https://domena/katalog/

wtedy skrypt w linku do otwarcia strony wstawia http// po https:// - samo sprawdzanie czy tez formularz jest ok

[Xemix]

Co może być przyczyną niepobierania niektórych danych np. z MajesticSEO i wyświetlanie "0"? Czasami mam też tak choćby z site.

[mlody0072]

1)gdy dodajesz phpproxy w formacie https://ip/plik

skrypt sprawdza jego ip i wyswietla komunikat 'brak ip' wink.gif - ale to kosmetyka bo normalnie sie z nim laczy i phpproxy działa poprawnie

No jest bład skrypt sprawdza czy IP == DOMENA i jeśli jest spełniony warunek to znaczy, że nie wykryto IP serwera dodam poprawę w aktualizacji.

2) w zakładce serwery jezeli dodasz do sprawdzania strone z katalogiem https://domena/katalog/

wtedy skrypt w linku do otwarcia strony wstawia http// po https:// - samo sprawdzanie czy tez formularz jest ok

Wszystkie https:// skrypt powinien wyciąć po dodaniu serwera do bazy danych, później sprawdzę co się dzieje.

Co może być przyczyną niepobierania niektórych danych np. z MajesticSEO i wyświetlanie "0"? Czasami mam też tak choćby z site.

Zobacz jak wygląda z cachowana strona MajesticSEO (pierwsza ikonka przy adresie IP w zestawieniu) jeśli nie masz tam nic to nadaj prawa do zapisu dla katalogu cache i poczekaj az skrypt będzie pobierał dane jeszcze raz wtedy wygeneruje sie tam plik i zobaczysz jak wyglądała strona majesticseo podczas pobierania danych czy te dane tam były czy nie. Możesz mi podać adres tej domeny (na PW albo maila) to sprawdzę ja u siebie czy tak samo będzie się zachowywało.

[Xemix]

Zobacz jak wygląda z cachowana strona MajesticSEO

Wyświetla wyniki site, tyle, że bez polskich znaków diagnostycznych.

Ale tutaj mi o to chodziło, że za pierwszym razem, kiedy skrypt pierwszy raz pobierał wszystkie dane to większość z nich była poprawnie pobrana, a potem za każdym kolejnym razem w niektórych stronach nie jest pobrane dobrze, bo w monitorze mam np. BL wg. majesticseo 0, a faktycznie jest ich kilka tyś. Podobnie jest z innymi wskaźnikami.

[mlody0072]

Wyślij mi na PW ze dwa adresy dodam u siebie do monitorowania i napiszę co się dzieje.

Bo skrypt jest już odporny na to, żeby nie pobierał błędnych danych.

[Xemix]

Hmm przy masowej edycji stron nie da się przypisać/zmienić serwera? Przydało by się to.

[mlody0072]

W kolejnej wersji będzie się dało przenieść

właśnie dopisałem.