Jak zablokować zaplecze przed robotami: ahrefs, majestic seo i open site explorer?

[dentro]

Jak zablokować zaplecze przed robotami: ahrefs, majestic seo i open site explorer?

[WebReklama]

W robots.txt przez deny from (IP albo User-Agent)

[dentro]

czyli co mam dokładnie dodać do pliku robots.txt?

Podobno można to zrobić też w .htaccess

[MKucinski]

Proszę panie specjalisto seo

[d4b]

Google Ci zablokowali?

Przykład:

.htaccess
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^rogerbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^exabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^dotbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot
RewriteRule ^.* - [F,L]

lub

robots.txt
User-agent: Googlebot
Disallow:
User-agent: msnbot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: rogerbot
Disallow: /
User-agent: exabot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: gigabot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: *
Disallow: /

[czarny]

Ja mam tak:

BrowserMatchNoCase rogerbot bad_bot
BrowserMatchNoCase exabot bad_bot
BrowserMatchNoCase MJ12bot bad_bot
BrowserMatchNoCase dotbot bad_bot
BrowserMatchNoCase gigabot bad_bot
BrowserMatchNoCase AhrefsBot bad_bot
Order Deny,Allow
Deny from env=bad_bot

Edytowane 1 Sierpnia 2013 przez czarny

[warol]

Czy ta blokada jest po to aby nie było widać ile jest linków wychodzących do naszej domeny pozycjonowanej? Czy żeby nie było widać ile nasza domena ma bl?

[Gucci]

U mnie reguły to wycinają np. Wszystkie mi znane adresy z ovh, hetznera, całe .ru, .ua, .jp, .cn, .br, .lt, .vn + pojedyncze ip lub cale klasy gry uznam, że to źródło niepotrzebnego ruchu

Edytowane 1 Sierpnia 2013 przez Gucci

[WebReklama]

@warol - jak blokujesz roboty typu Ahrefs i MJ to nie widać kogo z danej domeny linkujemy

[zgred]

pozostaje jeszcze bing

[tur77ek]

Zgred gdzieś czytałem jak ty blokujesz roboty ale nie mogę znaleźć może zapodaj prawidłową regułkę dla htaccess

ja mam taką ale w majestic widać wszystko jak na dłoni chyba jest coś nie tak z tym wpisem

RewriteCond %{HTTP_USER_AGENT} Twice|Roge|Yand|Baidu|site|Ahre|AhrefsBot|seo|Yahoo|Voil|libw|Java|Sogou|psbot|Exabot|boitho|ajSitemap|Rankivabot|DBLBot|MJ1|MJ12bot|Rankivabot|ask

RewriteRule ^(.*)$ https://www.wp.pl/ [L,R=301]

Order Allow,Deny

deny from 111 124 125 147 169.208 175 180 182 183 202 203 210 211 218 219 229 221 222

deny from 112.0.0.0/5 120.0.0.0/6

Allow from all

Czy jest możliwości zablokowania wszystkich robotów oprócz googla ?

Edytowane 1 Sierpnia 2013 przez tur77ek

[dziki_rysio_997]

Co do tego, co widać w Majesticu - kiedy "wyciąłeś" jego roboty? Bo równie dobrze roboty Majestica mogły już przejrzeć Twoją stronę na wylot, a teraz pokazują to, co zebrały wcześniej.

A czy w Majesticu przestaną pokazywać informacje o Twojej stronie po jej ponownym odwiedzeniu (i czy wywalą to od razu) - niech się wypowie ktoś, kto to sprawdzał na własnej skórze.

Czy jest możliwości zablokowania wszystkich robotów oprócz googla ?

Nie sądzę, żeby to było sensownie wykonalne inaczej, niż wymieniając User-Agenty i zakresy IP dla konkretnych botów.

Gdybyś chciał na tej podstawie jawnie "dopuścić" tylko roboty Google'a to wyciąłbyś użytkowników, którzy też jakieś tam User-Agenty i IPki mają.

Od biedy można jawnie wyciąć te lepiej znane po User-Agent i IP, a te mniej znane po User-Agent zawierającym np. bot, spider, crawler itd. (dopuszczając jawnie User-Agenty robotów Google'a). Ale nie wiem, czy warto się w to zagłębiać.

Jeszcze inaczej można poza jawnym wycięciem tych najpopularniejszych dopuszczać tylko określone User-Agenty odpowiadające przeglądarkom, ale moim zdaniem nie warto, nie mówiąc już o tym, że niechcący można stracić jakąś część "niestandardowych" użytkowników.

[tur77ek]

Czy robot

MJ1 i MJ12bot to to samo ? I jak to powinno być wpisane 1 czy 2 ? to samo to poniższych.

Ahre i AhrefsBot

Znalazłem coś takiego

RewriteBase /

RewriteCond %{HTTP_USER_AGENT} .*Twice.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Yand.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Yahoo.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Voil.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*libw.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Java.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Sogou.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*psbot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Exabot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*boitho.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*ajSitemap.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Rankivabot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*DBLBot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*MJ1.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Rankivabot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*ask.*

RewriteCond %{HTTP_USER_AGENT} .*AhrefsBot.*

RewriteCond %{HTTP_USER_AGENT} .*Roge.*

RewriteCond %{HTTP_USER_AGENT} .*Baidu.*

RewriteCond %{HTTP_USER_AGENT} .*site.*

RewriteCond %{HTTP_USER_AGENT} .*Ahre.*

RewriteCond %{HTTP_USER_AGENT} .*seo.*

RewriteCond %{HTTP_USER_AGENT} .*MJ12bot.*

RewriteRule ^(.*)$ https://anysite.com/ [L,R=301]

Order Allow,Deny

Allow from all

Deny from 110.0.0.0/8

Deny from 111.0.0.0/8

Deny from 112.0.0.0/5

Deny from 120.0.0.0/6

Deny from 124.0.0.0/8

Deny from 125.0.0.0/8

Deny from 147.0.0.0/8

Deny from 169.208.0.0

Deny from 175.0.0.0/8

Deny from 180.0.0.0/8

Deny from 182.0.0.0/8

Deny from 183.0.0.0/8

Deny from 202.0.0.0/8

Deny from 203.0.0.0/8

Deny from 210.0.0.0/8

Deny from 211.0.0.0/8

Deny from 218.0.0.0/8

Deny from 219.0.0.0/8

Deny from 220.0.0.0/8

Deny from 221.0.0.0/8

Deny from 222.0.0.0/8

[TheMatthew173]

Hej, skopiuje swój post z innego tematu, ale myślę że warto i Ci się przyda

Ja używam takich opcji:

1:

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot

RewriteCond %{HTTP_USER_AGENT} ^InnyBot

RewriteRule ^.* - [F,L]

2.

SetEnvIfNoCase User-Agent .*AhrefsBot.* bad_bot

SetEnvIfNoCase User-Agent .*InnyBot.* bad_bot

order allow,deny

deny from env=bad_bot

allow from all

3.

W robots.txt:

user-agent: AhrefsBot

disallow: /

user-agent: InnyBot

disallow: /

Stosuje te trzy techniki i nie mam problemów.

[tur77ek]

Mam kilka domen zapleczowych podlinkowanych zrobiłem przekierowanie 301na docelową , co zrobić aby przekierowanie nie było widoczne w majestic i innych bo w tej chwili wszystko jak na dłoni widać łącznie z linkami z domeny zapleczowej na której są blokady nie wiem dlaczego ale to nie działa.