Skocz do zawartości

SEOAnalityk


Szern

Rekomendowane odpowiedzi

  • Odpowiedzi 177
  • Dodano
  • Ostatniej odpowiedzi

O i oto mi chodziło, nie zauważyłem tego :piwo:

Dzięki

To spróbuj ustawić co najmniej co godzinę, albo co kwadrans, czy nawet co pięć minut. Jeśli masz ustawiony czas wykonania skryptu w php na 30-60 s (a najprawdopodobniej tak masz) to przy trzech odpaleniach dziennie w żadnym razie nie zmieli takiej ilości stronek.

Jeśli nie masz ustawionego absurdalnie dużego czasu wykonania skryptu, to trzykrotne odpalenie w ciągu dnia sprawdzi Ci kilkadziesiąt stronek najwyżej, czyli te 50 pasowałoby.

Spróbuj i daj znać, proszę.

Rzecz w tym, ze skrypt za każdym razem sprawdza wszystkie domeny, więc jak ustawie cron co 5 minut, to bede miał zbanowane ip po jednym dniu.

Pozdro

Andy

Odnośnik do komentarza
Udostępnij na innych stronach

Rzecz w tym, ze skrypt za każdym razem sprawdza wszystkie domeny, więc jak ustawie cron co 5 minut, to bede miał zbanowane ip po jednym dniu.

Jakby Ci to powiedzieć... Wiesz, ja go pisałem... Więc wydaje mi się, że skrypt sprawdza każdą domenę tylko raz dziennie... nie więcej... niezależnie od tego ile razy go odpalisz danego dnia. A php wyłącza skrypt po określonym czasie. Jaki to czas dla Twojego serwera (zmienna max_execution_time w php.ini)? :)

Szern

Darmowy skrypt SEOAnalityk na otwartych źródłach do monitoringu stron www:

Odnośnik do komentarza
Udostępnij na innych stronach

Mój server ma ustawione max_execution_time na 60 sekund.

Tak masz 100% racji, ale domeny na liście to sprawdza je po kolei, i nie przerywa - dziś sprawdziłem specjalnie ustawiłem crona i poczekałem na odpalenie.

Pierwsze sprawdzenie nastapiło o 2011-10-11 12:11:20, kolejne poniżej

2011-10-11 12:11:20

2011-10-11 12:11:27

2011-10-11 12:11:35

2011-10-11 12:11:41

2011-10-11 12:11:46

2011-10-11 12:11:52

2011-10-11 12:11:56

Ostatnie sprawdzenie nastąpiło o 2011-10-11 12:29:14, czyli 18 minut później. Serwer mam w statnecie, i jak pisałem na tym IP gdzie jest skrypt są tej chwili 4 domeny.

Po 103 domenach przestał sprawdzać site, po 37 domenach przestał sprawdzać YBL.

Więc jakby to nie patrzeć przerywanie skryptu nie było po 60 sekundach, tylko trwało cały czas.

Poprawka eria86 jest o tyle dobra, że wydłuży przerwy między pobieraniami a o to mi chodziło (aczkolwiek ja pauzy zrobię jeszcze dłuższe po 60 sekund)

Pozdro

Andy

Odnośnik do komentarza
Udostępnij na innych stronach

Mój server ma ustawione max_execution_time na 60 sekund.

Tak masz 100% racji, ale domeny na liście to sprawdza je po kolei, i nie przerywa - dziś sprawdziłem specjalnie ustawiłem crona i poczekałem na odpalenie.

Pierwsze sprawdzenie nastapiło o 2011-10-11 12:11:20, kolejne poniżej

2011-10-11 12:11:20

2011-10-11 12:11:27

2011-10-11 12:11:35

2011-10-11 12:11:41

2011-10-11 12:11:46

2011-10-11 12:11:52

2011-10-11 12:11:56

Ostatnie sprawdzenie nastąpiło o 2011-10-11 12:29:14, czyli 18 minut później. Serwer mam w statnecie, i jak pisałem na tym IP gdzie jest skrypt są tej chwili 4 domeny.

Po 103 domenach przestał sprawdzać site, po 37 domenach przestał sprawdzać YBL.

Więc jakby to nie patrzeć przerywanie skryptu nie było po 60 sekundach, tylko trwało cały czas.

To jest 60 s czasu pracy skryptu, a nie realnego czasu. Może to być 18 minut czasu serwera. Ustaw na próbę CRON na odpalanie co godzinę i sprawdź jak się zachowa. Przy powtórnym odpaleniu nie będzie drugi raz sprawdzał sprawdzonych już tego dnia domen, tylko kolejne.

Jest to o tyle dziwne, że limit dzienny na YBL wynosi 1000, więc tutaj nie powinno być żadnego bana.

Poprawka eria86 jest o tyle dobra, że wydłuży przerwy między pobieraniami a o to mi chodziło (aczkolwiek ja pauzy zrobię jeszcze dłuższe po 60 sekund)

Problem polega na tym, że nie w każdym phpie to tak właśnie działa. Teoretycznie tak, ale w praktyce bywa różnie. Jeśli Ci się uda, podziel się doświadczeniami.

Tak w ogóle, to rzeczywiście wbuduję jakieś systemy do regulacji częstotliwości odpytań, ale w tej chwili trochę brakuje mi czasu.

Szern

Darmowy skrypt SEOAnalityk na otwartych źródłach do monitoringu stron www:

Odnośnik do komentarza
Udostępnij na innych stronach

Witam,

Mała poprawka do wersji 1.0.2 (automatyczna aktualizacja):

- poprawiony (za googlami) sposób sprawdzania PR,

- wybór lub dodanie grupy przy dodawaniu strony,

- usunięcie podstrony dotacje.

Szern

Darmowy skrypt SEOAnalityk na otwartych źródłach do monitoringu stron www:

Odnośnik do komentarza
Udostępnij na innych stronach

Przerobiłem trochę skrypt eria86 i wzorując sie na znalezionej w necie funkcji zrobiłem coś takiego jak poniżej.

Po include('funkcje.php'); trzeba dodac to :

   function sleep_flush($chunks=20){
       $c=0;
       while($c <$chunks){
           $rand = rand(2000000, 60000000);
          usleep($rand);
          $c++;
       }
  }

potem po linijce 56 zaczynającej się od

$zapytanie = "INSERT INTO `$buforek` (`id`, `data

, zamienić linijkę

$wynik = mysql_query($zapytanie);

na poniższe dwie:

$wynikxxx = mysql_query($zapytanie);
$wynik = sleep_flush ($wynikxxx);

Rozwiązanie to działa i to ładnie, usypiając działanie skryptu na okres pomiędzy 2 a 60 sekundami. Oczywiście można to dopracować (nie jestem programistą ;), ale ważne że działa - przetestowałem na dwóch rożnych hostingach.

W ten sposób sprawdziło mi 180 domen od godziny 12:16 do 14:01, bez zadnych errorów. Wniosek - można sprawdzić w nocy do 1000 domen, raczej bez szansy na bana, a czas uspienia można jeszcze sobie wydłużyc lub skrócić.

Odnośnik do komentarza
Udostępnij na innych stronach

  • 3 tygodnie później...
A podbijam... bo jakoś temat umarł. Czy coś się dzieje w temacie?

Nie umarł... Sporo pracy i problemy zdrowotne nie pozwoliły mi poświęcać czasu na SEOAnalityka, który do tej pory ma support jednoosobowy. Jednak w najbliższym czasie pojawi się nowy pakiet poprawek, a także już niedługo nowa funkcjonalność wspomagająca szacowanie trudności pozycjonowania fraz kluczowych.

Jednym z powodów wolniejszego ostatnio rozwoju SEOAnalityka jest również to, że rodzi się nowy skrypt, najogólniej mówiąc do półautomatycznego pozycjonowania (tak, to nie pomyłka). W tej chwili przechodzi fazę wstępnych testów metodologii. W założeniu będzie to narzędzie bardzo proste w obsłudze, dość skomplikowane w działaniu i niestety nie Open Source (z konkretnych powodów) i nie darmowe.

Szern

Darmowy skrypt SEOAnalityk na otwartych źródłach do monitoringu stron www:

Odnośnik do komentarza
Udostępnij na innych stronach

@Szern - pomyśl nad jakąś (nawet małą) opłatą za skrypt, np w formie rocznego abonamentu - będzie to dobra motywacja dla pracy nad skryptem a do tego zawsze to dodatkowy pieniądz.

Web Systems: strony www, ecommerce, integracje, marketing internetowy...

Odnośnik do komentarza
Udostępnij na innych stronach

Zarchiwizowany

Ten temat przebywa obecnie w archiwum. Dodawanie nowych odpowiedzi zostało zablokowane.

  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.

×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę. Warunki użytkowania Polityka prywatności