Co powinien zawierać plik robots.txt?

[marynistyka.org]

Zanim dostanę bana za niewiedzę i głupotę muszę zapytać Was o jeszcze jedną rzecz, która nie daje mi spokoju - przeczytałem na PIO mnóstwo rzeczy o robots.txt (wszystkie jednak dla mnie zbyt mądre ) ale nie znalazłem odpowiedzi na takie pytanie - co powinno być napisane w tym pliku?

W związku z moją niewiedzą na dzień dzisiejszy ten plik ma u mnie następujący zapis:

"# robots.txt

User-agent: *

Disallow: "

a czy mogę zapytać jaka treść powinna być w nim zapisana?

Natomiast na stronie mam zapis odnośnie robotów:

" <meta name="robots" content="index,follow,all">

<meta name="revisit-after" content="7 days"> "

to dobrze, źle, tak sobie?

Bardzo byłbym wdzięczny za podpowiedź, bo uwierzcie mi, że stanowi ten temat dla mnie problem od wielu, wielu dni .

Pozdrawiam serdecznie i dzięki za cierpliwość.

Marek

[Marcin Elo]

masz dobry zapis.

mozesz tez dac:

User-agent: Mediapartners-Google*

Disallow:

[marynistyka.org]

@Marcin Elo

Dziękuję Ci bardzo - już dopisałem.

Pozdrawiam

Marek

[AdamAGP#]

Po co Ci ten plik? On służy do blokowania. No chyba, że właśnie chcesz blokować.

ewentualnie można w nim zapisać ścieżkę do mapy

Sitemap: https://4latabezurlopu.com.pl/sitemap.xml

[marynistyka.org]

Czyli wyrzucić robots.txt zupełnie z dysku? Dobrze zrozumiałem? A co z pojęciem, z którym wielokrotnie się PIO spotkałem "robota trzeba zaprosić"? Na czym polega mniej więcej takie zaproszenie? Oprócz podlinkowania się do jakiejś mocnej strony - to sam wyczytałem

Pozdrawiam serdecznie

Marek

[elpav]

Zostaw i plik i zapisy które masz.

Robots.txt nikogo nie zaprasza, ale pokazuje gdzie można się bawić, a gdzie nie wolno wchodzić. Nawet jeśli nie blokujesz niczego to po prostu wypada go mieć.

[mumin]

w pliku robots.txt okreslasz gdzie robot moze wejsc a gdznie nie moze wejsc

[TTSEO]

w pliku robots.txt okreslasz gdzie robot moze wejsc a gdznie nie moze wejsc

Raczej tylko gdzie nie moze wejsc

[Kaviorek]

na koniec dodajmy, że jest 5 robotów, które czytają robots.txt...