robots.txt a indeksowanie przez Google

[websign]

Witam

Powiedzmy, że chodzi o klienta, chociaż tak naprawdę nie chodzi o klienta

Ów klient upiera się, że mają w robots.txt

User-agent: *

Disallow:

googlebot nie odwiedza i nie indeksuje jego strony i taki plik robots.txt nie jest do niczego potrzebny i wręcz blokuje indeksowanie co rzekomo wynika z https://www.google.com/support/webmasters/b...=35239&rd=1 : "Plik robots.txt jest potrzebny tylko w przypadku, gdy witryna zawiera treść, której wyszukiwarki nie mają indeksować. Jeśli wyszukiwarki mają indeksować całą witrynę, plik robots.txt jest całkowicie zbędny (nawet pusty)."

Klient swoją wiedzę opiera też na tym, że gdy ów plik robots.txt był na stronie google bot nie odwiedzał strony i nie została ona zaindeksowana, a w dzień po tym jak usunął robots.txt googlebot odwiedził stronę i strona pojawiła się w indeksie.

Akurat teraz nie mam jak sprawdzić tej strony, ale z tego co kojarzę to domena jest zupełnie świeża i na 99,9% jest to czysty przypadek, że google akurat dzień po usunięciu robots.txt odwiedziło stronę.

Kto ma rację - klient twierdząc że plik robots.txt jest wręcz szkodliwy w tym przypadku i blokuje indeksowanie czy może ja, twierdząc że ten plik w indeksowaniu zupełnie nie przeszkadza?

Pozdrawiam

[pawloski]

pusty disallow oznacza że dozwolone jest wszystko, tak jakby nie było robots.txt wcale

jest nawet taki przykład na oficjalnej stronie protokołu robots.txt: https://www.robotstxt.org/robotstxt.html, To allow all robots complete access...

[websign]

Dokładnie tą stronę podałem klientowi jako źródło informacji, ale w Google jest napisane inaczej, więc każda inna metoda jest "be"