Składnia robots.txt - kwestia gwiazdki na końcu

[tkobosz]

Witam,

Czy to jest normalne, że gdy w pliku robots.txt mam:

User-agent: *
Disallow: /strona.php

to robot google i tak wchodzi na tę stronę przez adresy z parametrami na końcu:

www.mojadomenna.pl/strona.php?x=1

Kiedy dałem tam tak:

User-agent: *
Disallow: /strona.php*

to walidator plików robots.txt krzyczał, że tak nie wolno.

Ale może jest tak, że pomimo zakazu w robots.txt Googlebot i tak sobie tam wchodzi, choć tych stron nie indeksuje?

Dziękuję,

Tomek

[Veal]

Pierwsza opcja poprawnie zablokuje Googlebota dla adresu domena.pl/strona.php?f=41. Jeśli masz dodaną stronę w GWT to sprawdź, kiedy ostatnio został pobrany plik robots.txt. Google potrzebuje trochę czasu na wyindeksowanie wykluczonych w ten sposób adresów, nie powinien natomiast odwiedzać tych podstron jeśli plik znajduje się we właściwym miejscu.

[tkobosz]

Dziękuję.