Plik robots.txt a wpływ na indeksowanie

[vastar0]

Witam

Czy ten plik ma wpływ na szybkość poruszania się robota Google po naszej witrynie i indeksacji treści?

pozdrawiam

[Mion]

@na szybkość poruszania się robota Google po naszej witrynie

Nie

@i indeksacji treści?

Tak

[vastar0]

Chodzi mi o to, że nie mając tego pliku wszystko było OK a czy teraz dodając go coś się zmieni? - i to jest moje pytanie.

[blackpress.pl]

Zależy co w nim umieścisz.

Jeśli będzie to pusty plik, to jakby go nie było. Z kolei jeśli zabronisz crawlowania (można zabronić indeksowania wszystkich lub pojedynczych stron w ramach domeny) wszystkim robotom to strona wyleci z indeksu google'a.

Jeśli nie masz potrzeby ograniczania dostępu robotom to chyba nie ma sensu w ogóle dodawać tego pliku.

[Grochu]

tak jak pisze poprzednik, to zależy jakie dyrektywy tam umiesciłeś. Np. jeśli masz mapę witryny to możesz w robots umieściś odwołanie do niej.

[tomierc]

Napisz pytanie co cię interesuje to ci odpiszmy

[E-kreacja]

jeśli masz mapę witryny to możesz w robots umieściś odwołanie do niej.

nawet należy umieścić tam linka do sitemap

[vastar0]

Zablokowałem w pliku robots.txt , aby roboty mi nie indeksowały na forum np. kalendarza lecz ciągle widzę, że robot kalendarz przegląda. Zablokowane jest z pewnością dobrze: https://pwsz-tarnow.edu.pl/robots.txt tak przy okazji w "narzędziach dla webmastera" mam ciągle mam właśnie masę błędów wyrzuconych 403, że robot nie może zaindeksować poprawnie napisania prywatnej wiadomości itd.