Blokowanie adresów w robots

[grosiek]

Witam,

chcę wywalić adresy wyświetlone w błędach indeksacji webmasters. Czy dodając:

Disallow: https://nazwa-domeny.pl/cośtam

wystarczy? Wcześniej oczywiście user-agent dla wszystkich wyszukiwarek.

Kolejna kwestia, wywalać wszystkie strony dające 403, 404 i 503?

[blackpress.pl]

w robots.txt daje się

Disallow: /cośtam

Czyli bez domeny. Zamiast zabraniać robotom wstęp na wybrane podstrony, nie lepiej zadbać o poprawne nagłówki?

[grosiek]

Musiałem wywalać, a potem wrzucić ponownie te same strony, które dostały inne adresy. Wobec tego natworzyło się mnóstwo 404.

Jeśli potem wkleję wywalony adres do wyszukiwarki i go nie odnajdzie, to znaczy że wszystko zostało wykonane poprawnie?

[TRON]

Mógłby ktoś mi powiedziec czy jak się robi te regułki w pliku robotx.txt to sie je pisze jedne pod drugą , nie zostawia sie pustej lini między nimi?

Chce zrobić przekierowanie bo mam dwa zdulowane adresy jedna zwykła a druga wersja z /index.php regułkas będzi eidentyczn ai nie ma różnicy ćzy stron ajest w php czy html czy innym?

[blackpress.pl]

@grosiek - ja użyłbym słówka site:, do sprawdzania czy dana podstrona istnieje, ale Twój sposób też jest ok.

@TRON - https://support.google.com/webmasters/bin/answer.py?hl=pl&answer=156449 daje się odstęp między regułkami.

Przekierowania nie zrobisz w robots.txt tylko w .htaccess.