Pliki robots.txt i .htaccess - czy potrzebne na mojej stronie?

[Gość]

Z tego, co wiem robots.txt jest wręcz niezbędny. Nie wiem tylko, co mam w nim napisać. Za to zupełnie nie wiem, co daje .htaccess i czy w ogóle jest mi potrzebny na mojej stronie - https://www.6plus.com.pl

Z góry dzięki

[osablood]

W robots.txt określasz przede wszystkim do jakich plików google bot lub inne pająki nie ma mieć dostępu, czyli do panelu admina i innych ważnych plików.

.htaccess możesz ustawić jakieś przekierowania i tym podobne

[Gość]

Ok, dzięki

A czy mogę prosić o konkretne dane do wpisania do poszczególnych plików? Byłbym wdzięczny...

I sorry za zawracanie gitary

[osablood]

W pliku robots.txt aby umożliwić wszystkim wyszukiwarkom indeksację całego serwisu wpisz:

	  User-agent: *
  Disallow:

Wykluczenie dostępu robotów do określonej lokalizacji:

User-agent: *
Disallow: /jakis_katalog/

A .htaccess zależnie od tego co chcesz tam ustawić, można również ustawić aby przy błędzie 404 wyświetlało dany plik itd. , wykluczenie danego ip. Wiele tych możliwości jest.

Btw. nie musisz na siłe wpisywać coś do tych plików, to nie jest wymagane

[Gość]

Ok, dzięki

Plik robots.txt ustawiony, a .htaccess na razie mi niepotrzebny