sitebot - co to za cholerstwo?

[bioptak]

Witam!

Analizując logi serwera w końcu trafiłem na sprawdzę przekroczeń limitów pewnych parametrów serwera.

Natrafiłem na takiego zbója site bot -> https://www.sitebot.org

Wiem jak go zablokować - bo na samej stronie jest pokazany odpowiedni wpis do wstawienia w robots.txt ,ale nie wiem czy jest przydatny?

Zależy mi na pełnym dostępie do bota/botów(?) google i yahoo - dla wszelkich botów "pożytecznych". Nie wiem, czy site bot jest czymś od googla? A może od Yahoo/Bing? Wątpię.

Ktoś już miał z nim do czynienia?

Ten bot potrafi w ciągu 1 sekundy odwiedzić mój serwer 50 razy? Cały blok ostatnich wpisów w logu serwera to odwiedziny w 1 sekundzie!

Tak jak limit połączeń do bazy danych jest 25 tys. w ciągu godziny, to przez tego bota przekracza mi 100.000 w ciągu godziny. I wygląda to tak, że przez 20-22h w ciągu doby cisza, a potem zmasowane odwiedziny

Podejrzewam że ten bot od dawna muli mój inny serwer, ale nie odkryłem tego wcześniej.

Jeszcze jedno odkrycie. W tych samych zapisach pliku log serera podane są również IP, skąd bot przychodzi. Powtarzają się tylko 2 adresy IP: 212.113.37.106 oraz 77.55.44.106 - ale jak próbuję je odwiedzić, to "nie ma takiej strony".

Proszę o podpowiedź. Blokować tego bota???

Dzięki!

[Sebastek]

Mi atakował jedne z katalogów stron. Zablokowałem tego dziada. Raczej nie ma on nic wspólnego z wyszukiwarkami Google/Yahoo/Bing.

[General_Depet]

Ładnie ciągnie... ale przynajmniej już wiem że vpsy są dobrze skonfigurowane pod obciążenie hehe

Co do IP dorzucam jeszcze 212.113.37.105 więc można bloknąć całą klasę 212.113.37.*

[bioptak]

Tak - zablokowałem tego bota. Nadal nie wiem czemu ten bot służy. Trafiłem na jakiś zagraniczny wątek gdzie wspominali coś o Ukranie

W każdym razie ten bot potrafił zapchać cały serwer - taki atak DDOS - w postaci masowych wywołań urli.

Ktoś coś jeszcze wie?

Na pewno nie jest to pożyteczny bot.

Po 1 dobie odpuścił

@General_Depet - nie znam się na tym. Mówisz że trzeba zablokować więcej adresów?

Dzięki i pozdrawiam!

[General_Depet]

Tu masz mini tutorial jak walczyć z idiotycznymi botami > https://www.seokatalogi.pl/blog/faq-jak-zab...ep-do-katalogu/

[bioptak]

Dzięki!!

[dave84]

A to?

User-Agent: Mozilla/5.0 (compatible; MJ12bot/v1.3.3; https://www.majestic12.co.uk/bot.php?+)

Bo obsiadło mnie

[cree]

U mnie również ten sam bot, kilkaset odwiedzeń w ciągu minuty, i tak przez kilka minut, coraz więcej tego syfu...

06/04/2011 17:06:45 Mozilla/5.0 (compatible; SiteBot/0.1; +https://www.sitebot.org/robot/)

06/04/2011 17:06:50 Mozilla/5.0 (compatible; SiteBot/0.1; +https://www.sitebot.org/robot/)

.....

06/04/2011 17:07:13 Mozilla/5.0 (compatible; SiteBot/0.1; +https://www.sitebot.org/robot/)

[nowy]

Właśnie te dwa powyżej wymienione boty mi pożarły ostatnio webminiacza. Nie zastanawiajcie się, tylko blokujcie od razu .

[bioptak]

Więc musimy często sprawdzać logi serwerów.

Mi udało się ograniczyć zużycie parametrów serwera blokując 1go bota.

Pewnie jakieś typki zbierają treść naszych stron, żeby robić swoje spamki duplicate content

[moneron]

Panowie, wiecej pingować, a botów z pewnością będzie mniej.

A tak całkiem serio to zanim zacząłem pingować nowe podstrony odwiedzał mnie często bocik od googla, rzadziej yahoo, jeszcze rzadziej bing, potem się jeszcze yandex przyplątał.

Zaraz po wysłaniu pierwszych pingów się zaczęło, oprócz wyżej wspomnianych widziałem jeszcze jakieś Ezooms/1.0; ezooms.bot@gmail.com (gmail dla zmyłki czy co?), plącze mi się jeszcze jakiś DotBot. Było coś jeszcze, ale nie chce mi się teraz logów przeszukiwać.

[mmr88]

Kosz

[moneron]

No i się stało, dziś rano część moich stron padła, dostawca hostingu zawiesił konto z powodu przeciążenia serwera, sprawca w tytule - sitebot. Po odblokowaniu strasznie muliło, więc się zebrałem zablokowałem ip z pierwszego posta. Jak ręką odjął, strony zaczęły hulać jak dawniej.

[Robbieriviera]

Czy mógłby mi ktos powiedzieć, w którym miejscu to zablokować na home.pl? Z góry dziekuję

[tosik]

Robbieriviera wrzuć do robots.txt:

user-agent: sitebot
disallow: /

User-agent: MJ12bot
Disallow: /

lub do .htaccess:

RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [NC]
RewriteRule ^.*$ - [F]