Skocz do zawartości

Blokowanie robotów


makosgsi

Rekomendowane odpowiedzi

Witajcie

Mam taki kod, jednak nie blokuje on poprawnie robotów Majestic, oraz Ahrefsa.

Wiem, że problem leży albo w kolejności, albo brakuje czegoś w kodzie.

Gdy zmieniałem miejsce linijek odpowiadających za blokowanie robotów, nie działało przekierowanie (blokowanie robotów działało dobrze), w obecnej formie przekierowanie działa poprawnie, jednak nie blokuje robotów :)

Czy ktoś ma pomysł, co jest nie tak ?

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} .*MJ1.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Ahre.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*ajSitemap.*
RewriteRule .* - [F]
RewriteCond %{HTTP_HOST} (^mojadomena.pl$)|(^www.mojadomena.home.pl)|(^mojadomena.home.pl)|(^www.mojadomena.com.pl)|(^mojadomena.com.pl)|(^www.mojadomena.pl)|(^mojadomena.pl) [NC]
RewriteRule ^(.*)$ https://www.mojadomena.pl/$1 [R=301,L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ index.php?q=$1 [L,QSA]

Odnośnik do komentarza
Udostępnij na innych stronach

Spróbuj tego

albo tego:

robots.txt

User-Agent: Googlebot
Allow: /
User-Agent: *
Disallow: /

.htaccess

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} .*Twice.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Yand.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Yahoo.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Voil.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*libw.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Java.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Sogou.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*psbot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Exabot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*boitho.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*ajSitemap.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Rankivabot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*DBLBot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*MJ1.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Rankivabot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*ask.*
RewriteCond %{HTTP_USER_AGENT} .*AhrefsBot.*
RewriteRule ^(.*)$ https://anysite.com/ [L,R=301]
Order Allow,Deny
Allow from all
Deny from 110.0.0.0/8
Deny from 111.0.0.0/8
Deny from 112.0.0.0/5
Deny from 120.0.0.0/6
Deny from 124.0.0.0/8
Deny from 125.0.0.0/8
Deny from 147.0.0.0/8
Deny from 169.208.0.0
Deny from 175.0.0.0/8
Deny from 180.0.0.0/8
Deny from 182.0.0.0/8
Deny from 183.0.0.0/8
Deny from 202.0.0.0/8
Deny from 203.0.0.0/8
Deny from 210.0.0.0/8
Deny from 211.0.0.0/8
Deny from 218.0.0.0/8
Deny from 219.0.0.0/8
Deny from 220.0.0.0/8
Deny from 221.0.0.0/8
Deny from 222.0.0.0/8

anysite.com - wpisz adres jaki chcesz ;)

to blokuje trochę więcej, ale sobie wytnij to czego nie potrzebujesz :)

Odnośnik do komentarza
Udostępnij na innych stronach

Zarchiwizowany

Ten temat przebywa obecnie w archiwum. Dodawanie nowych odpowiedzi zostało zablokowane.

  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę. Warunki użytkowania Polityka prywatności