Jak zablokować boty?

[grosiek]

Jaki sposób jest najskuteczniejszy i najprostszy do zablokowania botów na stronie?

[zeki]

jakich botów? spamujących czy wyszukiwarek i tym podobnych?

[TheMatthew173]

Roboty możesz zablokować w pliku robots.txt

[TRENS]

Robota google? W htaccess zablokuj.

[malec]

Jaki sposób jest najskuteczniejszy i najprostszy do zablokowania botów na stronie?

Niektóre roboty możesz zablokować poprzez:

- plik robots.txt (https://www.seomoz.org/learn-seo/robotstxt)

- znacznik meta robots (https://www.seomoz.org/learn-seo/robotstxt)

- plik htaccess (https://www.thesitewizard.com/apache/block-bots-with-htaccess.shtml)

Pierwsze dwie opcje są stosunkowo proste. Trzecia bywa skuteczniejsza.

Dalsze instrukcje:

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

https://www.seomoz.org/learn-seo/robotstxt

https://www.seomoz.org/blog/interactive-guide-to-robots-txt

Pozdrawiam,

M.

[grosiek]

Bardziej mi chodzi o te, które pozwalają na inwigilację.

[malec]

Bardziej mi chodzi o te, które pozwalają na inwigilację.

Zasada ta sama tylko musisz zablokować po odpowiednich user agent albo adresach IP. Np Majestic to MJ12bo a Ahrefs: AhrefsBot.

Dodam, że blokując te roboty ciągle da się wykryć linki prowadzące do twojej witryny.

Pozdrawiam,

M.

[grosiek]

Podejrzewam, że nie ma skutecznego narzędzia blokującego wykrywanie linków?

[TheMatthew173]

Musisz po prostu zablokować boty wszystkich sprawdzaczy linków.

[D_S]

Żeby próbować skutecznie zablokować takie boty musiałbyś je zablokować na stronie docelowej i na domenach, które do niej linkują. Podkreślam "próbować".

[malec]

Musisz po prostu zablokować boty wszystkich sprawdzaczy linków.

Jeżeli skutecznie zablokuje się takie roboty to jedyne co się uzyska to to, że twojej strony nie będzie się dało odszukać w tych serwisach. Linki prowadzące do strony docelowej dalej będą dostępne w sieci więc ktoś z harvesterem i odrobiną oleju w głowie będzie w sanie odtworzyć twój profil.

Są skuteczniejsze metody ukrywania linków np. przekierowania albo maskowanie.

Pozdrawiam,

M.

[kayman]

bardzo prosta funkcja php może przekierować dowolnego użytkownika w tym bota do 301,404, w piz..... etc.

[grosiek]

Kurcze, dodałem regułki jakie niegdyś zostały wstawione na forum, jednak teraz wywala mi 404 dla podstron. Co mogę robić nie tak?

[Veal]

Pokaż jak wygląda Twój plik .htaccess po wstawieniu regułek.

[grosiek]

Działa, trzeba wstawić formułki przed tym:

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

Tylko teraz, po jakim czasie ahrefs zauważy zmiany?