Strona zaindeksowana pomimo robots.txt i meta tagu

[lesssugar]

Cześć,

Jak w temacie. Parę dni temu wrzuciłem stronę online. W katalogu głównym umieściłem robots.txt o treści:

User-agent: *

Disallow: /

na wszelki wypadek na stronie głównej (strona jest tylko jedna) dodałem w nagłowku meta tag:

<meta name="robots" content="noindex,nofollow"/>

Mimo tego, moją stronę zaindeksowało Google, a konkretnie pod adresem: whois.domaintools.com

Co zrobiłem nie tak? Jam cudem do mojej strony nagle prowadzi domaintools.com?

[kstk]

................

sory, źle zrozumiałem

[MKucinski]

Nie zaindeksowało Twojej strony, tylko stronę whois.domaintools.com, gdzie są dane whois Twojej domeny.

[lesssugar]

Rozumiem. Dodatkowo, strona domaintools zniknęła już z wyników wyszukiwania. Zakręty losu Dzięki.

[dragonattack]

Witam,

Mam stronę na Joomli. Do rozszerzenia pliku robots.txt, mam dodane rozszerzenie dist (czyli nazwa pliku to robots.txt.dist). Czy rozszerzenie dist ma jakiś wpływ na działanie tego pliku?

pzdr

[WebReklama]

Tak, robot szuka robots.txt a nie robots.txt.dist. robots.txt.dist to "standardowy" robots.txt dostarczany z Joomla. Jak chcesz mieć taki - to usuwasz z nazwy .dist, a jak nie to robisz włąsny i kopiujesz to co ci potrzebne z .dist

[TheMatthew173]

Czasami nawet po dodaniu regułki do robots.txt można znaleźć stronę w wynikach wyszukiwania jednak z taki opisem:

Opis tego wyniku jest niedostępny z powodu robots.txt – Więcej informacji

[Nerox]

I co wówczas należy zrobić?

[TheMatthew173]

Możesz zrobić dwie rzeczy:

- zablokować robota Googlebot przez .htaccess

- usunąć swoją stronę przez GWT

[Nerox]

chmm, ale blokada robota google jest rownoznaczna z brakiem pozycjonowania, zgadza sie?

[golum]

jest rownoznaczna z brakiem pozycjonowania, zgadza sie?

Zgadza się.

[Nerox]

No to trzeba znalezc inne rozwiazanie, bo takie jest niesatysfakcjonujące

Nie wiem o co kaman, ale blad sie naprawil, niby xd

[rokko]

Możesz przecież dać meta robots noindex na konkretnej podstronie i nie wyświetli się w indeksie.