Zwiększony ruch z pagepeeker.com

[siekiel9]

Witam,

Od jakiegoś czasu na jednej mojej stronie mam dużą ilość odwiedzin z serwerów pagepeeker.com, np. ns33.pagepeeker.com, r34.pagepeeker.com, r25.pagepeeker.com,... Pagepeeker generuje miniatury stron, więc domyślam się, że co jakiś czas wchodzi na stronę, aby odświeżyć obraz na wypadek zmian, ale czy można gdzieś ograniczyć częstowtliwość odwiedzin? Na pagepeeker.com podają, że bot respektuje plik robots.txt i można w ten sposób zablokować mu dostęp. Tylko że blokując mu dostęp chyba utracę miniaturę swojej strony (np. w katalogach)? Adresy IP też z różnych klas, np. 5.9.88.82, 144.76.62.77. Miał ktoś z was podobny problem i jak sobie z nim poradzić?

[kayman]

ale tak naprawdę to w czym problem bo nie rozumiem

[siekiel9]

Czy warto blokować po hostname pagepeeker.com? Nie rozumiem, dlaczego jest tak duży ruch z ich strony.

[Mion]

Ten zwiększony ruch według ciebie ile wejść na dzień ?

[Kazaan]

Ten zwiększony ruch według ciebie ile wejść na dzień ?

z 5 uniq skoczyło na 6

[siekiel9]

Nie są to może wielkie ilości, ale według mnie znacznie za duże jak na serwis generujący screenshoty stron. Poniżej wycinek z logów:

godzina | IP | Host | Wizyty

14:47:44 | 5.9.88.82 | ns33.pagepeeker.com | 9

14:47:36 | 5.9.49.41 | r28.pagepeeker.com | 6

14:44:56 | 144.76.62.77 | r35.pagepeeker.com | 13

14:38:10 | 144.76.43.70 | r34.pagepeeker.com | 10

14:36:01 | 85.10.246.235 | r26.pagepeeker.com | 7

Nie wiem ile jest tego w ciągu dnia, ale mniej więcej co kilka/kilkanaście minut mam takie wejścia.

[kayman]

sprawdź w katalogach do których dodałeś stronę czy w okienku używającym pagepeeker twoja strona się od razu wyświetla -> może robot z jakiegoś powodu nie umie odczytać wyglądu strony i dlatego co chwilę próbuje

[siekiel9]

No tak, tylko strona posiada sporą ilość linków/wpisów z katalogów, też się zastanawiałem, czy bot odpowiedzialny za generowanie miniatury łapie link do mojej strony - sprawdza czy ma generować miniaturę, czy nie. Następnie z innego katalogu czyni podobnie, a że takich katalogów sporo, to i taki ruch może z tego wynika. Tylko według mnie, to powinno być chyba jakieś kolejkowanie zrobione, jeżeli adres mojej strony był np. w ciągu doby odwiedzony, to już kolejnych odwiedzin danego dnia nie powino być. Ale nie mam pojęcia, czy tak to działa. Spróbuję na innej domenie zablokować bota, sprawdzę tym samym czy przez to zniknie mi jej miniatura, czy tylko spowoduje brak aktualizacji miniatur po zmianie wyglądu strony.