Robots.txt - blokowanie adresów zakończonych na..

[AdamAGP2]

Czy można jakoś zdefiniować plik robots.txt, żeby blokował wszystkie adresy zakończone na page/1/

np. domena/zmienna-czesc-adresu/page/1/

[MartinB]

Poczytaj o składni: https://www.spiders.pl/robots_txt-syntax.php

[AdamAGP2]

Poczytaj o składni: https://www.spiders.pl/robots_txt-syntax.php

W sumie to nie ma tam takiego przykładu, ale na dole jest jakiś przykład ze znakiem '

To może to tak powinno wyglądać?

Disallow: /'page/1/

???

[Lexy]

<?php if ( $paged >1 ) {
echo '<meta name="robots" content="none" />';
}?>

Czy o to Ci chodzi?

[Paweł Dzedzej]

@Adam - to jest apostrof zamykający przykład.

Aby plik robots.txt blokował wszystkie pliki zakonczone na page/1/ to należy wpisać:

Disallow /*page/1/$

W przypadku Googla podobno działa na pewno, w innych trudno powiedzieć.

[aX]

A jak wyglądałoby blokowanie wszystkiego po https://www.adrestakianieinny.pl/page ?

Disallow: /page

?