co polecacie wpisać w robots.txt?

[pavlus007]

Witam, mam skromne pytanko:

Co polecacie wpisać w robots.txt ? Jakie są najpopularniejsze polskie roboty sieciowe (lub takie których używają Polacy) ?

Jak na razie mam wpisane tylko to:

User-agent: Mediapartners-Google
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

nie wpisywałem więcej bo chciałem mieć jak najbardziej zbliżoną do rzeczywistej liczbę odwiedzin w google analytics (wiedzieć ile ludzi przegląda moją stronę

z góry dzięki za odpowiedzi

[LaoHost.pl]

Tego pliku używa się do blokowania robotów, a nie zachęcania ich do wejścia

[Gość]

Polecam zostawienie robots.txt pustego...

[pavlus007]

dzięki, tak zrobiłem

pozostaję tylko kwestia statystyk

czy z google analitycs dowiem się rzeczywistą liczbę ludzi którzy wchodzili na moją stronę?

[Gość]

Tak, z tego co się orientuję to większość botów nie jest liczona.

[Kesera]

Sitemap: https://www.domena.com/sitemap.xml

[takun]

Słyszałem że dobrze jest zablokować robota yahoo, gdyż jest to konkurencja dla Google

[ravau]

pavlus007 nie słuchaj go

[yavaho]

W pliku robots.txt możesz wpisać pewne informacje dla robota. Musisz wiedzieć że to co tam wpiszesz to bedą tylko Twoje życzenia i możesz mieć tylko nadzieję że robot się do nich ustosunkuje.

Nie wierz w bzdury że za pomoca pliku robots.txt mozna coś zablokować Blokować pewne katalogi, strony lub roboty mozna wykonac poleceniami z pliku .htaccess

Jezeli nie masz pomysłu na konfiguracje pliku robots.txt to ponizej kilka przykladów. Ale nie ma co szaleć z konfiguracją tego pliku ponieważ tak jak mowiełem że nie kazdy robot sie do tego ustosunkuje.

1) pozwala na wejcia wszystkich robotów

2) blokuje dostep do katalogu

3) podaje link do sitemapy

User-agent: *

Disallow: /katalog/

Sitemap: /sitemap.xml

[LuckySpamer]

Jezeli nie masz pomysłu na konfiguracje pliku robots.txt to ponizej kilka przykladów. Ale nie ma co szaleć z konfiguracją tego pliku ponieważ tak jak mowiełem że nie kazdy robot sie do tego ustosunkuje.

Mnie tam słuchają

[Gość]

Może lepiej od razu napisać, że czytanie tego pliku przez roboty to tylko ich dobra wola?

[gregor777]

W sumie to jeżeli nie chce się niczego blokować to chyba nie ma sensu tworzyć pliku robots a moze napisać w nim

user-agent: *

disallow:

sitemap: /sitemap.xml

tylko że po co ? Może mi ktoś to wyjaśnić? I po co blokować roboty?

[Gość]

Jak już coś sensownego zamieszczać to informację o sitemap.

Sitemap: https://www.example.com/sitemap.xml

I po co blokować roboty?

Robots.txt to tylko grzecznościowe wyproszenie robota. I tak wejdzie jak będzie chciał.

Sens blokowania jest, jeżeli nie chcesz być w indeksie danej wyszukiwarki.

[gregor777]

Hm w zasadzie nie wiem co złego jest w byciu w indeksie jakiejś tam x wyszukiwarki, jeżeli to nie psuje pozycji w googlach..

[yavaho]

Plik robots.txt może byc też żródłem informacji dla niepowołanych

np

Disallow: /katalog_admina_z_haslami/

czy jest sens umieszczać taką informację ?