robots.txt

[lukpiotr]

czymoge nie miec pliku robots.txt? jesli tak to mam go zapakowac na serwer??? i co w nim wpisać zeby i w koncu robot google strone zaindeksował bo juz od ponad miesiaca jest w google stary wpis

[Irek]

czymoge nie miec pliku robots.txt?

Tak. Nie jest wymagany i za jego pomocą nie da się przyspieszyć robota Google.

[remik09]

robots.txt nie am wplywu an szybkosc indeksacji, daj troche linkow do twojej strony to napewno pomoze a nie suzkaj winy w tym pliku

[AdamAGP]

a propos robots.txt da się tam zablokować przed robotami konkretne linki wychodzące?

[jimmi]

nie da się,

standard dla robot.txt

https://www.robotstxt.org/wc/norobots.html i https://www.google.com/support/webmasters/b...c.py?topic=8843

BTW disallow w robot.txt jest super dzięki temu osoby które pisza własne roboty mają unikalny content