robots.txt

[mrkiniu]

Witam.

Mam nową domenę, która prawdopodobnie ma bana.

Wstawiłem skrypt do podglądu robotów i co zobaczyłem?

https://e-banki.biz/roboty.php

roboty wchodzą na stronę, nie wgłębiają się w serwis ale co ciekawe odwiedzają plik robots.txt którego faktycznie niema na serwerze.

Moje pytanie - czy takowy plik trzeba umieścić na serwerze i co ma się w nim znajdować, oraz dlaczego roboty odwiedzają taką stronę skoro jej tam niema.

[zebol]

https://www.google.com/webmasters/bot.html

Znajdziesz na pewno odpowiedź.

ps.wer.polska

[Rafal]

Po prostu sprawdzają, czy istnieje robots.txt. Jak nie musisz nic blokować, to ten plik jest zbędny.