Skocz do zawartości

ROBOTS.TXT ma już 2O lat


jimmi

Rekomendowane odpowiedzi

30 czerwca 1994 roku wymyślony przez Martijn Koster robots.txt został przyjęty jako standard przez wszystkie liczące się w tym czasie wyszukiwarki takie jak Lycos, AltaVista czy WebCrawler.

Martin na swoimi blogu opisał 20 lat błędów w robots.txt

link do jego artykułu https://www.beussery.com/blog/index.php/2014/06/robots-txt-disallow-20/

dymna.jpg

Przyjaźń psa na całe życie. ZAGINĄŁ DOM

Odnośnik do komentarza
Udostępnij na innych stronach

Zarchiwizowany

Ten temat przebywa obecnie w archiwum. Dodawanie nowych odpowiedzi zostało zablokowane.

×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę. Warunki użytkowania Polityka prywatności