robots.txt dla sklepu internetowego - co blokować?

[conradd]

Witam,

Jakie podstrony/elementy w sklepie internetowym warte są zablokowania przez roboty? Panel admina mam, co dalej?

Jak miałby wyglądać taki przykładowy plik robots.txt?

[tomierc]

podaj adres sklepu bo to zależy od skryptu co blokować

[Mar_Dal]

Dokładnie tak jak kolega wyżej napisał, w zależności od skryptu należy zablokować foldery odpowiadające za administrację itp.

[grucha007]

Przykładowa zawartość robots.txt jednego ze znanych polskich sklepów.

User-agent: *

Disallow: /actions/

Disallow: /admin/

Disallow: /adodb/

Disallow: /alejahandlowa/

Disallow: /allegro/

Disallow: /ceneo/

Disallow: /conf/

Disallow: /gemino/

Disallow: /kupujemy/

Disallow: /libs/

Disallow: /model/

Disallow: /n/

Disallow: /oferciak/

Disallow: /ojeju/

Disallow: /parnerzy/

Disallow: /pasazonet/

Disallow: /templates/

Disallow: /templates_c/

Disallow: /tmp/

Disallow: /totu/

Disallow: /webkupiec/

Disallow: *.css

Disallow: *.js

Disallow: *.ini

Disallow: *.ico

User-agent: Googlebot

Disallow: /*/*r0

Disallow: /*/*r1

Disallow: /*/*r2

Disallow: /*/*r3

Disallow: /*/*r4

Disallow: /*/*r5

Disallow: /*/*d

Disallow: /*/*v1

Disallow: /*/*v2

Disallow: /*/*cem

Disallow: /*/*cemx

Disallow: /*/*scr.html

Disallow: /*/*scm.html

Disallow: /*/*snr.html

Disallow: /*/*snm.html