Robots.txt disallow: czy allow: /

[waf]

Witam,

mam pytanie. Chce wygenerować plik robots.txt tak aby indeksował wszystkie podstrony serwisu.

W sieci piszą że jest kod do wstawienia

User-agent: *

Disallow:

a w narzędziach google

User-agent: *

Allow: /

który jest prawidłowy?

[arve_lek]

Drugi.

PS. Jeżeli chcesz indeksować wszystkie podstrony to plik robots jest w ogóle zbędny.

[waf]

w panelu administracyjnym prestashop w zakładce strony nie znaleziono robot chciał odnaleźć plik /robots.txt -- 3049 razy przez cały rok. Kiedyś pod tym adresem był postawiony serwis. Proszę o odpowiedź czy wygenerować ten plik wpisując w nim aby przeglądał cały serwis czy zostawić tak jak jest? Większość podstron serwisu jest już indeksowana i posiada pr 3

[arve_lek]

Jeżeli nic nie chcesz blokować przez robots.txt to plik nie jest potrzebny.

Jeżeli chcesz aby "błąd" zniknął to wygeneruj plik robots.txt

[waf]

Dziękuje. A dlaczego tyle razy go próbuje znaleźć?

[arve_lek]

Za każdym razem jak google bot odwiedza stroną najpierw próbuje znaleźć plik robots.txt, a dopiero potem przystępuje do analizowania Twojej strony.

Zawsze możesz wygenerować plik, to wtedy tylko nie będziesz widział liczby 3049, ale nie zmienia to faktu, że i tak ta liczba istnieje dla Google bota. Po prostu tylko Ty jej nie będziesz widział. Chyba, że coś się zmieniło w narzędziach dla webmastera.

[waf]

Pytam ponieważ są różne opinie

https://pl.wikipedia.org/wiki/Robots_Exclusion_Protocol

Cała witryna będzie indeksowana przez roboty (tak jakby nie było pliku robots.txt):

User-agent: *

Disallow:

a w panelu dla webmasterów google

User-agent: *

Allow: /