Blokowanie robotów htaccess ?

[Arkadiusz]

Tak, ale przy blokowaniu całych klas istnieje prawdopodobieństwo zablokowania dostępu "normalnym" userom

Dlatego się wycina Azję, Turcję, Rosję, Ukrainę, Afrykę... tam normalnych userów nie ma

[Rocky77]

Czy lista podana przez Ciebie wycina wszystkie te nie pożądane kraje, ich wyszukiwarki itd. czy coś jeszcze należało by dodać do niej? Chcę sobie przygotować taką listę i dodawać do każdej stronki do htaccess

[Arkadiusz]

Lista wycina azjatów, skąd jest masa szajsu

Ale warto wyciąć jeszcze turcję, dawne zsrr i część afryki Z tym, że jest sporo zabawy i raczej nie ma gotowych list.

[pyzdera]

Znalazłem to --> Wycinanie robotów indeksujących

Wygląda na to że u mnie działa

[Arni]

jak skutecznie poblokować wszystkie roboty obsługujące komendę link, tak by nawet częściowych danych linkowych nie wyświetlało

[aikmar]

Jaka regułą zablokować yandex i baidu ? Szukam i dużo wyrzuca mi.. i nie wiem co wybrac. Ma ktoś gotowca ?

Edit: Mam takie coś:

Agent: Mozilla/5.0 (compatible; Baiduspider/2.0; +https://www.baidu.com/search/spider.html)

Agent: Mozilla/5.0 (compatible; YandexBot/3.0; +https://yandex.com/bots)

[M@k]

Np.

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} ^Baidu [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^Yandex [NC]

RewriteRule .* - [F]

[bobek358]

Witam

Mam problem z robotami indeksującymi.

W styczniu - czyli przez te niecałe 2 dni zjadły mi 5 gb transferu - więc połowę ogólnie zużytego.

Jeśli chodzi o googlebot nie ma problemu, przyblokowałem go w webmaster tools i może się uspokoi, ale nie wiem co dalej.

Mam jeden wpis w statystykach AWSTAT o nazwie Unknown robot (identified by 'bot*') który zjadł 1,5 gb.

Czy jest to jeden robot czy zlepek kilku który te statystyki nie potrafią zidentyfikować?

Pozdrawiam

Michał Boboski

[martinewg]

Blokowanie goolge bota, to chyba nie jest dobry pomysł, a ten zjadający 1,5gb ma jakieś IP?

[mcmagik]

bobek, zbanuj IP podejrzanych robotow, ktorych liste znajdziesz w sieci, plikiem .htaccess

[bobek358]

martinewg nie zablokowałem go całkowicie, tylko zmniejszyłem szybkość indeksowania.

mcmagik właśnie szukam takowej w internecie. Masz namiar na jakąś sprawdzoną listę ip "braci" we wschodu?

[arve_lek]

https://seo-z.pl/robot-poison/

[MaxPan]

Dlatego się wycina Azję, Turcję, Rosję, Ukrainę, Afrykę... tam normalnych userów nie ma

to samo słyszałem wczoraj od jednego z adminów z USA na temat Polski.

[haze]

Coś w tym jest

[kuchar]

Dlatego się wycina Azję, Turcję, Rosję, Ukrainę, Afrykę... tam normalnych userów nie ma

Dzięki userom ze wschodu jeden z moich sklepów jest w top 10