Jak zablokować dostęp dla pajączka google?

[tomierc]

Jak zablokować dostęp dla pajączka google? Chodzi mi o zablokowanie dostępu do wszystkich tagów, kategorii, stron autora, podstron bloga - całkowicie aby nie indeksowało tylko tych stron. Bardzo proszę o pomoc.

Wordpress tworzy dynamiczne adresy to znaczy mojadomena.pl/?tag=blokada

Czy można to dodać do robot.txt oraz czy ma to być w formie /?tag czy /tag - czy jeszcze inaczej?

User-agent: *

Disallow: /?tag

Disallow: /tag czy jeszcze inaczej?

[zgred]

User-agent: Googlebot

Disallow: /?tag*

[tomierc]

Czy trzeba to wstawiać tylko do googlebota czy można wszystkim * ? A i już dziękuje za odpowiedź i tak bardzo mi pomoże.

[Szemron]

Tak, można wszystkim robotom zablokować dostęp. Zamiast nazwy robota wstawiasz gwiazdkę, a reszta tak samo.