Robot MJ12bot okupuje moją stronę.

[mefedROn]

Witam, właśnie zauważyłem, że po mojej stronie buszuje robot o nazwie MJ12bot. Chciałbym dowiedzieć się, co z tym fantem zrobic? Ktoś z Was się może orientuje co owy robot poczynia? Mam go zablokować, potraktować w inny sposób? Czy robi on coś potrzebnego?

 

 

Będę wdzięczny za rzetelną poradę oraz cenne informacje na temat tego bota, tzn. co on robi, po co w ogole jest itp?

 

Pozdrawiam,

Rafał

[Finan]

Śmiało zablokuj:

user-agent: sitebot
disallow: /

User-agent: MJ12bot
Disallow: /

[Mion]

https://seo.zgred.pl/blokowanie-robotow-majesticseo-oraz-ahrefs-989

[kikimora]

Na forum, które prowadzę czasami niewiarygodnie wzrasta ruch za sprawą robotów. Jak można to sprawdzić i ewentualnie zablokować?

[dziki_rysio_997]

Rzuć okiem do logów serwerowych (access.log), to zobaczysz jaka jest skala problemu.

Możesz spróbować ograniczyć częstość odpytywania strony stosując w robots.txt dla odpowiedniego bota:
 

Crawl-delay: 10

Gdzie 10 to odstęp w sekundach.

Wyżej w tym wątku masz przykład, jak wykluczyć bota całkiem (w robots.txt).
Oczywiście efekt zmian w robots.txt może nie być widoczny natychmiast (dopiero gdy bot pobierze nową wersję robots.txt i uwzględni reguły w swoim działaniu).

Ew. rozwiązanie radykalne, czyli blokada w .htaccess

[kikimora]

Bardzo dziękuję za podpowiedź