Czy potrzebny jest plik robots.txt

[marcisz]

Witam,

Jestem tu nowy, nowy takze w temacie optymalizacji. Dlatego mam pytanie.

Przepuscilem swoja stronke przez filtr optymalizacji na jednej ze stron, wyskoczylo kilka rzeczy do poprawki miedzy innymi : ' brak pliku robots.txt ".

Zaczalem sledzic fora i opinie, generalnie zdania sa bardzo podzielone jedni pisza ze trzeba, ze powinien byc, inni ze to juz przeszlosc, ze zadne robaczki sobie z tego nic nie robia.

Dajcie znac jak to widzicie i czy macie takie pliki u siebie.

Jesli tak to prosze przeklejcie takze zawartosc takiego txt-ka.

Pozdro600

[WyczesanySEOWIEC]

Wydaje mi się że nie ma jakiś "twardych dowodów" na to że taki plik ma bezpośredni wpływ na pozycje...

Ja tam czasami stosuje robots txt, a czasami nie, ale to ze względu na to czy chcę aby konkretne roboty indeksowały/bądź nie daną stronę.

Z drugiej strony jeśli masz np. duplicate content w ramach jednej domeny, no to takim plikiem robots.txt możesz

sobie zablokować konkretną podstronę - więc w teorii uchronić się od jakiś kar itp...

[marcisz]

ok dzieki, wlasnie przeanalizowalem kilka wiekszych portali pod kontem posiadania pliku robots.txt - faktycznie prawie nikt go nie stosuje, widac nie maja nic do ukrycia:)

[xradar]

Zawsze stosuj plik robots.txt! Może być nawet pusty lub standardowe

User-agent: *
Allow: /

Będziesz miał problem jak serwer zwróci Ci http500 np. poza tym co szkodzi wgrywać ten mały pliczek?

[b79]

robots.txt sluzy raczej temu aby np. nie indexować stron których sobie nie życzymy. Kiedys mi google zaindeksowało strone w takiej postaci www.strona.pl/_test/index.php i reszta podstron, nigdzie nie bylo linkowane bo strona byla w trakcie tworzenia, a jak przenioslem do glownego katalogu to w serpach wyswietlalo sie rownolegle obie wersje strony wiec w tym przypadku z pomocą przyszedł właśnie robots.txt i po kilku dniach znikło z serpów.

[marcisz]

User-agent: *
Allow: /

Ok, rozumiem, ze taka jest zawartosc pliku i znaczy to mniejwiecej -> Indeksuj wszystko

-tak, jak gdyby plik robots.txt byłby pusty lub gdyby nie było go wcale

[xradar]

@marcisz - tak, taki zapis oznacza "indeksuj wszystko".

Brak robots.txt traktuj jako negatywny czynnik rankigowy. Robots.txt to podstawa i dobry nawyk.

[marcisz]

@Xradar - wielkie dzieki, plik juz na serwerze, nawyk wziety do serca

[tomierc]

Potrzebny za bardzo nie jest ale przydatny taki plik na pewno

[WormsCrew]

To tak w skrócie opłaca się czy nie bo zgłupiałem??

[swistak]

Osobiście głownie w tym pliku blokuje boty ale czy nas posłucha to już inna sprawa nie raz w pliku ma zakaz dostępu do tego katalogu a i tak go zindeksuje :/.