Plik robots.txt

[Karlosky]

Czy robot widząc blokadę w robots.txt wyrzuci te adresy z indeksu - czy muszę je jeszcze zgłosić do usunięcia? (opcją Usuń adres URL)

Nawet zgłaszając je do usunięcia może to trwać kilka miesięcy, a już na pewno kilka tygodni...

[seomaker]

Czy uzycie pliku robots.txt jest konieczne?

Póki co na mojej stronie jego nie posiadam.

[ebsand]

jeśli chcesz zablokować robotowi np. googla indeksację pewnych części swojej strony to możesz użyć robots.txt. Jeśli natomiast nie masz takiej potrzeby albo wiedzy co być chciał wyindeksować to nie jest Ci potrzebny

[ebinx]

robots.txt jest generalnie nie potrzebny. Chyba że chcesz coś blokować bo ci google indeksuje zawartość folderu /tajnezdjeciamojegopenisa/ to wtedy tak.

Zobacz co ma u siebie google w robots.txt- same blokady- https://www.google.com/robots.txt

A do 'duplikatów' w obrębie strony lepiej robić przekierowanie 301 na właściwy url z tych 'niewłaściwych'.

[pytaniemam]

Ja to tam miałem ten plik ale go wykopałem