Skocz do zawartości

Niezaplanowany test ekstremalnego pingowania

bojanvuk

Przez bojanvuk
w Testy

Rekomendowane odpowiedzi

bojanvuk Newbie

bojanvuk

Opublikowano
Opublikowano

Cześć,

Właśnie udało mi się wydobyć z dołka spowodowanego niezaplanowanym eksperymentem z pingowaniem, więc chciałbym podzielić się z Wami moimi wynikami. Może zaoszczędzi to komuś paru złotych w kieszeni lub przekroczenia transferu na stronie.

Setup:

- skrypt wordpress, w miarę lekka skórka

- pluginy: all in one seo , google xml sitemaps, rss footer, cbnet ping optimizer

cbnet może jest mniej znany: umożliwia ograniczenie pingowania - raz na x minut. Ustawiony na 5 minut.

- strona ładowana treścią przez xmlrpc dwie paczki dziennie po 100 postów

- początkowa baza 5000 postów

Do pluginu włożona maksymalna lista botów jaką znalazłem:

https://api.moreover.com/RPC2
[url="https://api.my.yahoo.co.jp/RPC2"]https://api.my.yahoo.co.jp/RPC2[/url]
[url="https://api.my.yahoo.com/RPC2"]https://api.my.yahoo.com/RPC2[/url]
[url="https://audiorpc.weblogs.com/RPC2"]https://audiorpc.weblogs.com/RPC2[/url]
[url="https://blog.goo.ne.jp/XMLRPC"]https://blog.goo.ne.jp/XMLRPC[/url]
[url="https://blogpeople.net/ping"]https://blogpeople.net/ping[/url]
[url="https://blogsearch.google.ae/ping/RPC2"]https://blogsearch.google.ae/ping/RPC2[/url]
[url="https://blogsearch.google.at/ping/RPC2"]https://blogsearch.google.at/ping/RPC2[/url]
[url="https://blogsearch.google.be/ping/RPC2"]https://blogsearch.google.be/ping/RPC2[/url]
[url="https://blogsearch.google.bg/ping/RPC2"]https://blogsearch.google.bg/ping/RPC2[/url]
[url="https://blogsearch.google.ca/ping/RPC2"]https://blogsearch.google.ca/ping/RPC2[/url]
[url="https://blogsearch.google.ch/ping/RPC2"]https://blogsearch.google.ch/ping/RPC2[/url]
[url="https://blogsearch.google.cl/ping/RPC2"]https://blogsearch.google.cl/ping/RPC2[/url]
[url="https://blogsearch.google.co.cr/ping/RPC2"]https://blogsearch.google.co.cr/ping/RPC2[/url]
[url="https://blogsearch.google.co.hu/ping/RPC2"]https://blogsearch.google.co.hu/ping/RPC2[/url]
[url="https://blogsearch.google.co.id/ping/RPC2"]https://blogsearch.google.co.id/ping/RPC2[/url]
[url="https://blogsearch.google.co.il/ping/RPC2"]https://blogsearch.google.co.il/ping/RPC2[/url]
[url="https://blogsearch.google.co.in/ping/RPC2"]https://blogsearch.google.co.in/ping/RPC2[/url]
[url="https://blogsearch.google.co.it/ping/RPC2"]https://blogsearch.google.co.it/ping/RPC2[/url]
[url="https://blogsearch.google.co.jp/ping/RPC2"]https://blogsearch.google.co.jp/ping/RPC2[/url]
[url="https://blogsearch.google.co.ma/ping/RPC2"]https://blogsearch.google.co.ma/ping/RPC2[/url]
[url="https://blogsearch.google.co.nz/ping/RPC2"]https://blogsearch.google.co.nz/ping/RPC2[/url]
[url="https://blogsearch.google.co.th/ping/RPC2"]https://blogsearch.google.co.th/ping/RPC2[/url]
[url="https://blogsearch.google.co.uk/ping/RPC2"]https://blogsearch.google.co.uk/ping/RPC2[/url]
[url="https://blogsearch.google.co.ve/ping/RPC2"]https://blogsearch.google.co.ve/ping/RPC2[/url]
[url="https://blogsearch.google.co.za/ping/RPC2"]https://blogsearch.google.co.za/ping/RPC2[/url]
[url="https://blogsearch.google.com.ar/ping/RPC2"]https://blogsearch.google.com.ar/ping/RPC2[/url]
[url="https://blogsearch.google.com.au/ping/RPC2"]https://blogsearch.google.com.au/ping/RPC2[/url]
[url="https://blogsearch.google.com.br/ping/RPC2"]https://blogsearch.google.com.br/ping/RPC2[/url]
[url="https://blogsearch.google.com.co/ping/RPC2"]https://blogsearch.google.com.co/ping/RPC2[/url]
[url="https://blogsearch.google.com.do/ping/RPC2"]https://blogsearch.google.com.do/ping/RPC2[/url]
[url="https://blogsearch.google.com.mx/ping/RPC2"]https://blogsearch.google.com.mx/ping/RPC2[/url]
[url="https://blogsearch.google.com.my/ping/RPC2"]https://blogsearch.google.com.my/ping/RPC2[/url]
[url="https://blogsearch.google.com.pe/ping/RPC2"]https://blogsearch.google.com.pe/ping/RPC2[/url]
[url="https://blogsearch.google.com.sa/ping/RPC2"]https://blogsearch.google.com.sa/ping/RPC2[/url]
[url="https://blogsearch.google.com.sg/ping/RPC2"]https://blogsearch.google.com.sg/ping/RPC2[/url]
[url="https://blogsearch.google.com.tr/ping/RPC2"]https://blogsearch.google.com.tr/ping/RPC2[/url]
[url="https://blogsearch.google.com.tw/ping/RPC2"]https://blogsearch.google.com.tw/ping/RPC2[/url]
[url="https://blogsearch.google.com.ua/ping/RPC2"]https://blogsearch.google.com.ua/ping/RPC2[/url]
[url="https://blogsearch.google.com.uy/ping/RPC2"]https://blogsearch.google.com.uy/ping/RPC2[/url]
[url="https://blogsearch.google.com.vn/ping/RPC2"]https://blogsearch.google.com.vn/ping/RPC2[/url]
[url="https://blogsearch.google.com/ping/RPC2"]https://blogsearch.google.com/ping/RPC2[/url]
[url="https://blogsearch.google.de/ping/RPC2"]https://blogsearch.google.de/ping/RPC2[/url]
[url="https://blogsearch.google.es/ping/RPC2"]https://blogsearch.google.es/ping/RPC2[/url]
[url="https://blogsearch.google.fi/ping/RPC2"]https://blogsearch.google.fi/ping/RPC2[/url]
[url="https://blogsearch.google.fr/ping/RPC2"]https://blogsearch.google.fr/ping/RPC2[/url]
[url="https://blogsearch.google.gr/ping/RPC2"]https://blogsearch.google.gr/ping/RPC2[/url]
[url="https://blogsearch.google.hr/ping/RPC2"]https://blogsearch.google.hr/ping/RPC2[/url]
[url="https://blogsearch.google.ie/ping/RPC2"]https://blogsearch.google.ie/ping/RPC2[/url]
[url="https://blogsearch.google.in/ping/RPC2"]https://blogsearch.google.in/ping/RPC2[/url]
[url="https://blogsearch.google.it/ping/RPC2"]https://blogsearch.google.it/ping/RPC2[/url]
[url="https://blogsearch.google.jp/ping/RPC2"]https://blogsearch.google.jp/ping/RPC2[/url]
[url="https://blogsearch.google.lt/ping/RPC2"]https://blogsearch.google.lt/ping/RPC2[/url]
[url="https://blogsearch.google.nl/ping/RPC2"]https://blogsearch.google.nl/ping/RPC2[/url]
[url="https://blogsearch.google.pl/ping/RPC2"]https://blogsearch.google.pl/ping/RPC2[/url]
[url="https://blogsearch.google.pt/ping/RPC2"]https://blogsearch.google.pt/ping/RPC2[/url]
[url="https://blogsearch.google.ro/ping/RPC2"]https://blogsearch.google.ro/ping/RPC2[/url]
[url="https://blogsearch.google.ru/ping/RPC2"]https://blogsearch.google.ru/ping/RPC2[/url]
[url="https://blogsearch.google.se/ping/RPC2"]https://blogsearch.google.se/ping/RPC2[/url]
[url="https://blogsearch.google.sk/ping/RPC2"]https://blogsearch.google.sk/ping/RPC2[/url]
[url="https://blogsearch.google.tw/ping/RPC2"]https://blogsearch.google.tw/ping/RPC2[/url]
[url="https://blogsearch.google.us/ping/RPC2"]https://blogsearch.google.us/ping/RPC2[/url]
[url="https://feedsky.com/api/RPC2"]https://feedsky.com/api/RPC2[/url]
[url="https://hamo-search.com/ping.php"]https://hamo-search.com/ping.php[/url]
[url="https://holycowdude.com/rpc/ping/"]https://holycowdude.com/rpc/ping/[/url]
[url="https://ping.blogoon.net/"]https://ping.blogoon.net/[/url]
[url="https://ping.blogs.yandex.ru/RPC2"]https://ping.blogs.yandex.ru/RPC2[/url]
[url="https://ping.fc2.com/"]https://ping.fc2.com/[/url]
[url="https://ping.feedburner.com/"]https://ping.feedburner.com/[/url]
[url="https://ping.kutsulog.net/"]https://ping.kutsulog.net/[/url]
[url="https://ping.myblog.jp/"]https://ping.myblog.jp/[/url]
[url="https://ping.namaan.net/rpc"]https://ping.namaan.net/rpc[/url]
[url="https://ping.snap.com/ping/RPC2"]https://ping.snap.com/ping/RPC2[/url]
[url="https://ping.syndic8.com/xmlrpc.php"]https://ping.syndic8.com/xmlrpc.php[/url]
[url="https://ping.weblogalot.com/rpc.php"]https://ping.weblogalot.com/rpc.php[/url]
[url="https://ping.wordblog.de/"]https://ping.wordblog.de/[/url]
[url="https://r.hatena.ne.jp/rpc"]https://r.hatena.ne.jp/rpc[/url]
[url="https://rpc.bloggerei.de/ping/"]https://rpc.bloggerei.de/ping/[/url]
[url="https://rpc.blogrolling.com/pinger/"]https://rpc.blogrolling.com/pinger/[/url]
[url="https://rpc.icerocket.com:10080/"]https://rpc.icerocket.com:10080/[/url]
[url="https://rpc.pingomatic.com"]https://rpc.pingomatic.com[/url]
[url="https://rpc.reader.livedoor.com/ping"]https://rpc.reader.livedoor.com/ping[/url]
[url="https://rpc.technorati.com/rpc/ping"]https://rpc.technorati.com/rpc/ping[/url]
[url="https://rpc.technorati.jp/rpc/ping"]https://rpc.technorati.jp/rpc/ping[/url]
[url="https://rpc.twingly.com/"]https://rpc.twingly.com/[/url]
[url="https://rpc.weblogs.com/RPC2"]https://rpc.weblogs.com/RPC2[/url]
[url="https://wasalive.com/ping/"]https://wasalive.com/ping/[/url]
[url="https://www.blogpeople.net/servlet/weblogUpdates"]https://www.blogpeople.net/servlet/weblogUpdates[/url]
[url="https://xmlrpc.blogg.de"]https://xmlrpc.blogg.de[/url]
[url="https://xping.pubsub.com/ping/"]https://xping.pubsub.com/ping/[/url]
[url="https://zhuaxia.com/rpc/server.php"]https://zhuaxia.com/rpc/server.php[/url]
[url="https://pingoat.com/goat/RPC2"]https://pingoat.com/goat/RPC2[/url]

... w następnym wpisie co się działo dalej.

Scrapebox & SEO tools Windows VPS łącze 1Gigabit!

Biotechnologia medyczna ..... Seoprzyjazny Silnie Moderowany Katalog Stron PR2

"Ludzie mocno przeceniają swój wpływ na innych i zdecydowanie niedoceniają swojego wpływu na siebie samych" by SZ 2009

Odnośnik do komentarza
Udostępnij na innych stronach
bojanvuk Newbie

bojanvuk

Opublikowano
  • Autor
Opublikowano

Ok, jaki wynik?

Boty ruszyły do skanowania całą chmarą.

W ciągu 24 godzin zjadły tylko dla siebie 1406MB transferu. Tak, prawie 1.5GB transferu na boty.

W efekcie byłem bliski zawieszenie konta (małe konto na iswift).

Ustawiłem kod 503 (temporary unavailable) i ruszyłem do analizy logów.

Godzinka z grep'em, sed'em, host'em i whois'em doprowadziła do następujących konkluzji:

1. Googlebot: 321 MB

Co jest niepokojące - czytał po kilka razy tą samą stronę w odstępach kilkusekundowych:

66.249.65.170 - - [15/Apr/2010:05:19:09 +0200] "GET /business/carpet-cleaning-franchise-jump-on-the-carpet-cleaning-bandwagon/ HTTP/1.1" 301 452 
"-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.65.170 - - [15/Apr/2010:05:19:12 +0200] "GET /business/carpet-cleaning-franchise-jump-on-the-carpet-cleaning-bandwagon HTTP/1.1" 200 93001 
"-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.65.170 - - [15/Apr/2010:05:19:15 +0200] "GET /business/carpet-cleaning-franchise-jump-on-the-carpet-cleaning-bandwagon/ HTTP/1.1" 301 452 
"-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.65.170 - - [15/Apr/2010:05:19:18 +0200] "GET /business/carpet-cleaning-franchise-jump-on-the-carpet-cleaning-bandwagon HTTP/1.1" 200 93001 "
-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.65.170 - - [15/Apr/2010:05:19:19 +0200] "GET /business/carpet-cleaning-franchise-jump-on-the-carpet-cleaning-bandwagon HTTP/1.1" 200 93001 
"-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.65.170 - - [15/Apr/2010:05:19:59 +0200] "GET /business/carpet-cleaning-franchise-jump-on-the-carpet-cleaning-bandwagon/ HTTP/1.1" 301 452 
"-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.65.170 - - [15/Apr/2010:05:20:01 +0200] "GET /business/carpet-cleaning-franchise-jump-on-the-carpet-cleaning-bandwagon HTTP/1.1" 200 93001 
"-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

2. serwer na Q9 "Rome client" - 592 MB - nieznośny bot, czytał stronę bez wytchnienia w kółko.

IP 67.210.218.101 "Rome Client"

wylądował na blacklist w .htaccess

3. serwer na t2b.pl - 310 MB - ten z kolei w kółko próbował czytać sitemap.xml; UWAGA: po usunięciu sitemap xml czytał stronę z błędem 404 z takim samym poświęceniem co kilka sekund.

IP 94.23.225.44 brak nazwy klienta

wylądował na blacklist w .htaccess

4.serwer na Internap "Jakarta Commons HTTP Client"- 108MB

IP 64.94.66.97 "Jakarta Commons HTTP Client"

wylądował na blacklist w .htaccess

5.serwerMCI - blogpulse.com bot - 75MB - ten się przynajmniej przedstawił i wiem co na stronie robił

IP 206.113.193.50 "blogpulse"

... ale jest mi nie potrzebny, na blacklist

Co się jeszce przyplątało, ale zrobiło od kilku do kilkudziesięciu zapytań, więc niech sobie pyta:

yahoo.com bot

archive.org

msn microsoft bot

yahoo.jp

baiduspider.jp (ciekawe, że baidu ma domenę .jp)

seoprofiler.bot spbot (jakaś startująca usługa do skanowania linków ala yahoo, mają serwery w amazon EC2 cloud)

cuil.com crawler (chwalą się, że mają rewelacyjną metodę przedstawiania wyników, mnie to wygląda zupełnie jak gugiel :) )

poza tym coś z Rosji, Brazylii, Holandii i Malezji

... w następnym poście wnioski.

Scrapebox & SEO tools Windows VPS łącze 1Gigabit!

Biotechnologia medyczna ..... Seoprzyjazny Silnie Moderowany Katalog Stron PR2

"Ludzie mocno przeceniają swój wpływ na innych i zdecydowanie niedoceniają swojego wpływu na siebie samych" by SZ 2009

Odnośnik do komentarza
Udostępnij na innych stronach
bojanvuk Newbie

bojanvuk

Opublikowano
  • Autor
Opublikowano

Wnioski:

1. Googiel przeskanował cały site (przypominam min. 5000 podstron) zżerając 321 MB transferu - wynik po kilku dniach zaindeksowane 150 stron. Czy się opłacało? Hmmm....

2. Nie opłaca się pingować wszystkiego co się tylko rusza, bo przyjdą boty nie wiadomo od czego i zjedzą transfer. Do tego mogą być nie do końca dobrze napisane...

3. Strona 404 powinna być mała. W swojej skórce w wordpressie masz pewnie plik 404.php . Tu to można pozmieniać.

4. Blacklist na .htaccess

order allow,deny
deny from 67.210.218.101
deny from 206.113.193.50
deny from 64.94.66.97
deny from 94.23.225.44
allow from all

5. Fajnie jeśli by można było ograniczyć ilość zapytań z jednego IP w określonym czasie. Na razie nie wiem jak.

6. Niepokoi mnie czytanie przez google tej samej strony w kółko tej samej minucie. Szuka SWLi ? Kosztowne dla naszego transferu.

Może się komuś ten opis przyda :).

Pozdrawiam,

BV

Scrapebox & SEO tools Windows VPS łącze 1Gigabit!

Biotechnologia medyczna ..... Seoprzyjazny Silnie Moderowany Katalog Stron PR2

"Ludzie mocno przeceniają swój wpływ na innych i zdecydowanie niedoceniają swojego wpływu na siebie samych" by SZ 2009

Odnośnik do komentarza
Udostępnij na innych stronach
garyoldman Newbie

garyoldman

Opublikowano
Opublikowano
5. Fajnie jeśli by można było ograniczyć ilość zapytań z jednego IP w określonym czasie. Na razie nie wiem jak.

Po tym jak kilkukrotnie dostałem maile o zbyt obciążonym koncie postanowiłem napisać sobie skrypcik co takie IP-ki zbyt aktywne zablokuje.

I np. jeżeli coś w ciągu 120 sekund zrobiło 120 odsłon na stronie to ląduje na czarnej liście w .htaccess

takie moje zabezpieczenie przed zjadaczami transferu...

Odnośnik do komentarza
Udostępnij na innych stronach
arve_lek Contributor

arve_lek

Opublikowano
Opublikowano
postanowiłem napisać sobie skrypcik

Istnieje możliwość abyś ten skrypt udostępnił ? Z odpłatą albo bez. Czy "napisać sobie" znaczy tylko i wyłącznie sobie bez możliwości kupna itp.

O7vVmZ7.gif

Punkty statlink.pl - dobra cena + gratis Skrypt i eBook, Blog SEO/SEM i Tatuaże na Dziarownia.pl (tatuaże)

Odnośnik do komentarza
Udostępnij na innych stronach
LuckySpamer Newbie

LuckySpamer

Opublikowano
Opublikowano

hmmm, to logiczne ze bedzie pytał pare razy na minute o 1 podstrone, ale nie dlatego, ze szuka SWLi.

Wynajme punkty Gotlink.pl, Seo.Net.pl, E-weblink oraz SeoMatiK.pl - najtansze ceny na rynku.

Kontakt: GG 2019406 email 99f@wp.pl

468x60.gif

Doceniasz innowacje? Najmocniejszy system linków stałych Seomatik.pl

Odnośnik do komentarza
Udostępnij na innych stronach
bojanvuk Newbie

bojanvuk

Opublikowano
  • Autor
Opublikowano
hmmm, to logiczne ze bedzie pytał pare razy na minute o 1 podstrone, ale nie dlatego, ze szuka SWLi.

Ok, czekam z niecierpliwością na wyjaśnienie tej logiki...

B

Scrapebox & SEO tools Windows VPS łącze 1Gigabit!

Biotechnologia medyczna ..... Seoprzyjazny Silnie Moderowany Katalog Stron PR2

"Ludzie mocno przeceniają swój wpływ na innych i zdecydowanie niedoceniają swojego wpływu na siebie samych" by SZ 2009

Odnośnik do komentarza
Udostępnij na innych stronach
sleaquit Newbie

sleaquit

Opublikowano
Opublikowano
hmmm, to logiczne ze bedzie pytał pare razy na minute o 1 podstrone, ale nie dlatego, ze szuka SWLi.

Ok, czekam z niecierpliwością na wyjaśnienie tej logiki...

ja sprzedawcy w sklepie powiesz poprosze 30 kostek masla a on tobie przyniesie 30 to tez bedziesz sie dziwil dlaczego?

JA: Miał Pan już nie pisać - tak trudno to zrozumieć, nie życzę sobie już od Pana maili

KLIENT: to po co Pan odpisuje? lubi Pan miec pewnie ostatnie zdanie ..ja również

Odnośnik do komentarza
Udostępnij na innych stronach
bojanvuk Newbie

bojanvuk

Opublikowano
  • Autor
Opublikowano
ja sprzedawcy w sklepie powiesz poprosze 30 kostek masla a on tobie przyniesie 30 to tez bedziesz sie dziwil dlaczego?

Wiesz co, jestem strasznie tępy i nie łapie metafor z masłem. Nie moja branża. Może coś na kwiatkach i pszczółkach.

Albo nie: powiedz po prostu o co chodzi, jeśli tylko wiesz.

B.

Scrapebox & SEO tools Windows VPS łącze 1Gigabit!

Biotechnologia medyczna ..... Seoprzyjazny Silnie Moderowany Katalog Stron PR2

"Ludzie mocno przeceniają swój wpływ na innych i zdecydowanie niedoceniają swojego wpływu na siebie samych" by SZ 2009

Odnośnik do komentarza
Udostępnij na innych stronach
garyoldman Newbie

garyoldman

Opublikowano
Opublikowano
Istnieje możliwość abyś ten skrypt udostępnił ? Z odpłatą albo bez. Czy "napisać sobie" znaczy tylko i wyłącznie sobie bez możliwości kupna itp.

Napisane jest to w PHP dla skryptów opartych o zend framework.

Mam też wątpliwości czy będzie to wydajne przy stronach z dużym ruchem ponieważ każda odsłona "notowana" jest w bazie.

Jeżeli mimo to jesteś zainteresowany to pisz na PM :)

Odnośnik do komentarza
Udostępnij na innych stronach

Zarchiwizowany

Ten temat przebywa obecnie w archiwum. Dodawanie nowych odpowiedzi zostało zablokowane.

Tematy

  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę. Warunki użytkowania Polityka prywatności