Majestic robot ip

[qlwik]

Posiada ktoś z was zakresy ip używane przez robota majestic seo?

W google nic nie ma, albo było tylko zbanowali z 50% stron i teraz nie można nic znaleźć...

[M@k]

majestic zablokujesz w robots.txt - słucha się

[qlwik]

Sęk w tym że ja nie chce go blokować.

[lilavati]

a user-agent?

Mozilla/5.0 (compatible; MJ12bot/v1.3.3; https://www.majestic12.co.uk/bot.php?+)

[qlwik]

w htaccess nie wpiszesz user agenta tylko ip

[M@k]

To widać @qlwik że słabo się jeszcze orientujesz w temacie. Można wszystko np.

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]

RewriteCond %{HTTP_USER_AGENT} ^Google

RewriteRule .* - [F,L]

itd.

[qlwik]

ale nie wpiszesz

allow from MJ12bot

[M@k]

Jak nie

RewriteCond %{HTTP_USER_AGENT} !^MJ12bot [OR]

[tonieja]

qlwik jednak się chyba da...

np tak w .htaccess

 
SetEnvIfNoCase User-Agent .*Twiceler.* bad_bot
SetEnvIfNoCase User-Agent .*VoilaBot BETA 1.2.* bad_bot
SetEnvIfNoCase User-Agent .*libwww-perl/5.805.* bad_bot
SetEnvIfNoCase User-Agent .*Sogou web spider/3.0.* bad_bot
SetEnvIfNoCase User-Agent .*psbot.* bad_bot
SetEnvIfNoCase User-Agent .*Exabot.* bad_bot
SetEnvIfNoCase User-Agent .*Charlotte/1.0b.* bad_bot
SetEnvIfNoCase User-Agent .*boitho.com-dc.* bad_bot
SetEnvIfNoCase User-Agent .*ajSitemap.* bad_bot
SetEnvIfNoCase User-Agent .*bot/1.0.* bad_bot
SetEnvIfNoCase User-Agent .*panscient.com.* bad_bot
SetEnvIfNoCase User-Agent .*WebDataCentreBot.* bad_bot
SetEnvIfNoCase User-Agent .*SapphireWebCrawler.* bad_bot
SetEnvIfNoCase User-Agent .*Yandex.* bad_bot
SetEnvIfNoCase User-Agent .*Baiduspider.* bad_bot
SetEnvIfNoCase User-Agent .*Rankivabot.* bad_bot
SetEnvIfNoCase User-Agent .*DBLBot/1.0.* bad_bot
SetEnvIfNoCase User-Agent .*Jakarta.* bad_bot
SetEnvIfNoCase User-Agent .*Slurp.* bad_bot
SetEnvIfNoCase User-Agent .*Yahoo.* bad_bot
SetEnvIfNoCase User-Agent .*bing.* bad_bot

order allow,deny
deny from env=bad_bot
allow from all

[qlwik]

ok dzięks

[eria86]

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} !^MJ12bot

RewriteRule .* - [F,L]

cos takiego powinno zablokowac wszystko oprocz bota majestic?

[Kaene]

Mógłby ktoś podać gotowy kod .htaccess blokujący takie boty jak np. majestic, ahrefs i podobne wyszukiwarki linków?

W jaki sposób lepiej zablokować czy w htacess czy robot.rxt?

[profanoom]

Mógłby ktoś podać gotowy kod .htaccess blokujący takie boty jak np. majestic, ahrefs i podobne wyszukiwarki linków?

W jaki sposób lepiej zablokować czy w htacess czy robot.rxt?

odkopuję i przyłączam do pytania, na oscommerce

[Prozer]

Tez przyłanczam tak się do pytania