Google ignoruje robots.txt

[Art Em]

Witam. Mam taką sytuację: w robots.txt jest napisane następujące

User-agent: Googlebot

Disallow: /

User-agent: *

Disallow: /

Jednak Googlebot codziennie indexuje strony.

Jak zamknąć stronę całkowicie i z gwarancją?

[RafalafaR]

Jednak Googlebot codziennie indexuje strony.

Jak zamknąć stronę całkowicie i z gwarancją?

Fizycznie usunąć całą stronę?

A poważniej, z pomocy gugiela:

Google nie będzie pobierać ani indeksować zawartości stron zablokowanych w pliku robots.txt, ale może indeksować te adresy URL, jeśli zostaną znalezione na innych stronach w sieci. W związku z tym adres URL takiej strony oraz prawdopodobnie również inne powszechnie dostępne informacje, np. teksty kotwicy w linkach do witryny lub tytuł z katalogu Open Directory Project (www.dmoz.org), mogą zostać wyświetlone w wynikach wyszukiwania Google.

[toseo]

hmmm, nie wiem w jaki, ale w dość dobry sposób radzi sobie z tym WOPDPRESS, a być może

po prostu zaindeksowało Ci "stare" strony. Poczekaj trochę niech się wyindeksuje, to dość długi

proces..

[Rogal]

Kiedy wstawiłeś blokadę? Skorzystaj z generatora robots.txt w Google Webmaster Tools, wstaw i czekaj.

[Art Em]

Dziękuje za odpowiedzi. Przyczyna była w tym, że Adsbot - Google indeksował strony. Teraz będę i od jego zamykać się