plik robots.txt, jak to dziala?

[źrebak]

Witam,

jakie jest dokladne znaczenie ponizszych tagow? Czy jezeli opisuje strone w ponizszy sposob, musze do katalogu glownego strony wrzucic takze plik robots.txt? Jesli tak, jaka on powinien miec strukture? Co powinien zawierac?

<META NAME="Robots" CONTENT="all">
<META NAME="Robots" CONTENT="index,follow">
<META NAME="Googlebot" CONTENT="index,follow">
<META NAME="Revisit-After" CONTENT="1 Days">

[zero3]

a google masz od czego?

HTML Author's Guide to the Robots META tag

https://www.robotstxt.org/wc/meta-user.html

Robots.txt Tutorial

https://www.searchengineworld.com/robots/robots_tutorial.htm

dlaczego revisit-after META tag to ściema?

https://www.seoconsultants.com/meta-tags/revisit-after.asp