Jak zatrzymać robota google

[Maxximilian]

Generalnie chodzi o dwie rzeczy:

1) Wyeliminowanie różnych url-i prowadzących do tych samych treściowo stron celem wyjścia z filtra DC

2) Zaprzestanie indeksowania stron, które mają url-e, których się chcę na trwałe pozbyć

Chodzi mi głównie o url-e na forum np. prowadzące dotego samego wątku wg. ostatnio dodanego postu (czyli jak jest 50 postów to do wątku powadzi 51-url-i) i url pred przepisanie mod_rewrite i po przepisaniu mod_rewrite.

Wyeliminowałem linki j/w z forum - więc nowych nie ma - i wg. klucza mającego na celu eliminację szeregu url-i napisałem skrypt, który dla tych niechcianych daje noindex, nofollow.

Załatwiło to sprawę pkt. 1 - stron nie widać w indeksie - ale teraz patrze, a roboty i tak do tych stron wracają pomimo tego, że nie ma do nich linków.

Macie jakiś pomysł jak się ich definitywnie pozbyć (robotów)?

[slawek22]

Roboty będą wracać choćby po to, żeby sprawdzić, czy strona ma dalej noindex/nofollow czy może należy ją już zacząć indeksować. Poza tym ktoś inny może równie dobrze do stron linkować. Jedyna metoda - robots.txt.

[Pawka]

Ja zostawiam kanapki z serem. Dopuki kanapka nie zostanie zjedzona,robot nie wyjdzie. Najlepszy sposób zatrzymać robota.

[Gość]

Jedyna metoda - robots.txt

nie lepiej .htaccess?

[slawek22]

Można .htaccess ale roboty będą dalej "zaglądać" na stronę, bo nawet jak robotowi wyślesz 404 to użytkownicy dalej będą mogli do tego linkować a adres na pewno prędzej czy później gdzieś się pojawi.

Poza tym dochodzi problem z identyfikacją robotów. w robots masz pewność że jakiegoś usera przypadkiem nie wytniesz.