Ukrywanie zaplecza SEO

[thunder]

Witam, mam pytanie czy ma ktoś i podzieli się jakimś skutecznym sposobem na ukrywanie zaplecza przed site explorerami typu seokick, seomoz, majestic etc? Skorzystałem z rozwiązań które blokują roboty poprzez blokadę w htaccess, ale po kilku miesiąch prób okazało się, że "g...o" blokują i wszystkie jest widoczne jak na dłoni:(

[sting2005]

Widocznie nie umiesz w .htaccess tego robić.

[thunder]

Może nie umiem, mam taki kod w hta:

ErrorDocument 403 /403.html

RewriteEngine On
RewriteBase /

# IF THE UA STARTS WITH THESE
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Discobot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} EdisterBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} HuaweiSymantecSpider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} JikeSpider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Magpie-Crawler [NC,OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SISTRIX [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Sogou [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Sosospider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} TurnitinBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} YandexBot [NC]
RewriteCond %{HTTP_USER_AGENT} ^(aesop_com_spiderman|alexibot|backweb|bandit|batchftp|bigfoot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(black.?hole|blackwidow|blowfish|botalot|buddy|builtbottough|bullseye) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(cheesebot|cherrypicker|chinaclaw|collector|copier|copyrightcheck) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(cosmos|crescent|curl|custo|da|diibot|disco|dittospyder|dragonfly) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(drip|easydl|ebingbong|ecatch|eirgrabber|emailcollector|emailsiphon) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(emailwolf|erocrawler|exabot|eyenetie|filehound|flashget|flunky) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(frontpage|getright|getweb|go.?zilla|go-ahead-got-it|gotit|grabnet) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(grafula|harvest|hloader|hmview|httplib|httrack|humanlinks|ilsebot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(infonavirobot|infotekies|intelliseek|interget|iria|jennybot|jetcar) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(joc|justview|jyxobot|kenjin|keyword|larbin|leechftp|lexibot|lftp|libweb) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(likse|linkscan|linkwalker|lnspiderguy|lwp|magnet|mag-net|markwatch) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(mata.?hari|memo|microsoft.?url|midown.?tool|miixpc|mirror|missigua) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(mister.?pix|moget|mozilla.?newt|nameprotect|navroad|backdoorbot|nearsite) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(net.?vampire|netants|netcraft|netmechanic|netspider|nextgensearchbot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(attach|nicerspro|nimblecrawler|npbot|octopus|offline.?explorer) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(offline.?navigator|openfind|outfoxbot|pagegrabber|papa|pavuk) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(pcbrowser|php.?version.?tracker|pockey|propowerbot|prowebwalker) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(psbot|pump|queryn|recorder|realdownload|reaper|reget|true_robot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(repomonkey|rma|internetseer|sitesnagger|siphon|slysearch|smartdownload) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(snake|snapbot|snoopy|sogou|spacebison|spankbot|spanner|sqworm|superbot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(superhttp|surfbot|asterias|suzuran|szukacz|takeout|teleport) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(telesoft|the.?intraformant|thenomad|tighttwatbot|titan|urldispatcher) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(turingos|turnitinbot|urly.?warning|vacuum|vci|voideye|whacker) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(libwww-perl|widow|wisenutbot|wwwoffle|xaldon|xenu|zeus|zyborg|anonymouse) [NC,OR]

# STARTS WITH WEB
RewriteCond %{HTTP_USER_AGENT} ^web(zip|emaile|enhancer|fetch|go.?is|auto|bandit|clip|copier|master|reaper|sauger|site.?quester|whack) [NC,OR]

# ANYWHERE IN UA -- GREEDY REGEX
RewriteCond %{HTTP_USER_AGENT} ^.*(craftbot|download|extract|stripper|sucker|ninja|clshttp|webspider|leacher|collector|grabber|webpictures).*$ [NC]

# ISSUE 403 / SERVE ERRORDOCUMENT
RewriteRule . - [F,L]

RewriteRule ^(dane|xml) - [L]
RewriteRule ^(.+)-(.+).html /index.php?dzial=$1&zakres=$2 [L,NE]
RewriteRule ^(.+).html /index.php?dzial=$1 [L,NE]

[magik89]

Kolejne ciekawa odpowiedź na forum, zamiast rady to tylko negowanie użytkowników. Napisz na PW pomożemy.

[sting2005]

Ciekawych rad to na PIO jest w brud tylko trzeba chcieć d.... ruszyć i poszukać a temat ukrywania zaplecza był wałkowany i to nie raz.

Więc zachowaj swoje mądrości dla siebie. Tu nikt nie będzie za nikogo szukał czegoś co można poszukać samemu.

[cenzura]

Po pierwsze, musisz zrobić domenę przelotową z 301 na której to dopiero umieścisz twój kod htaccess. Ahrefsy i Majesticboty budując indeks linków nie muszą zescrapować zawartości twojej strony. Może ona nawet nie istnieć a i tak pokażą dla niej wartości bl.

Jednak nawet to rozwiązanie jest jak najbardziej do obejścia, ale dotyczy to tylko nisz o wysokiej konkurencji. W Polsce jednak powinno ono wystarczyć.

[thunder]

Sting jak nie masz nic ciekawego do powiedzenia to milcz.

Co masz na myśli z domeną przelotową? Takie przekierowanie 301 z kolei negatywnie wpłynie chyba na roboty google? Czemu w Polsce powinno wystarczyć, te narzędzia to zagraniczne oprogramowanie?

[san]

robots.txt

User-agent: googlebot
Disallow:

User-agent: msnbot
Disallow:

User-agent: *
Disallow: /

[thunder]

Dziękuję za konkretną odpowiedź.

[sting2005]

Sting jak nie masz nic ciekawego do powiedzenia to milcz.

Co masz na myśli z domeną przelotową? Takie przekierowanie 301 z kolei negatywnie wpłynie chyba na roboty google? Czemu w Polsce powinno wystarczyć, te narzędzia to zagraniczne oprogramowanie?

Na pewno taki lafior nie będzie mi mówił kiedy mam milczeć.

To, że jesteś cwaniaczkiem, któremu sie nie chciało użyć szukajki to nie moja wina.

[profanoom]

Thunder rozwiązania działają ?

Czy User-agent: googlebot Disallow nie zablokuje indeksacji ?

[sting2005]

to po co się odzywasz lamusie, widocznie nie potrafię szukać i oczekiwałem pomocy a nie prostackich odzywek

Tak mnie jeszcze nikt nie nazwał, podoba mi się nawet z ust takiego lafiora.

[thunder]

profanoom ciężko teraz stwierdzić, wrzuciłem na serwer, czekam, okaże się w czasie.

[Studenciak]

Macie może sposób na zablokowanie serwisu serpstat (i kilku podobnych polskich serwisów), żeby nie skanował zaplecz i nie podawał linków do danej witryny ?

[profanoom]

profanoom ciężko teraz stwierdzić, wrzuciłem na serwer, czekam, okaże się w czasie.

Thunder jak efekty ?