Google na forum, przykład z tego forum

[Majkel]

Przegrzebałem plik Michała tutaj na forum robots.txt

jego fragment:

User-agent: *

Disallow: /posting.php

Disallow: /privmsg.php

z tego co wiem, to GoogleBot jest w miarę grzecznym botem, chyba się powinien słuchać tego pliku z wytycznymi.

Z powyższego kodu wynika, iż Michał nie chce by wszystkie boty, w tym Google, indeksowały pliki:

posting.php

privmsg.php

zatem skąd te wyniki w Google(?):

site:forum.optymalizacja.com/posting.php - 323 podstrony zindeksowane

site:forum.optymalizacja.com/privmsg.php - 131 podstron

a teraz pytanie gratisowe - czy lepiej według Was blokować (przynajmniej teoretycznie) dostęp robotów do plików na forum typu te dwa, czy puszczać tam boty w celu indeksowania raczej mało wartościowych podstron, których i tak w wyszukiwarce nikt nie znajdzie? Jak robicie?