Skocz do zawartości

Poszukiwany dobry parser robots.txt


tbnet

Rekomendowane odpowiedzi

Szukam gotowego, dobrego skryptu do parsowania pliku robots.txt

Żeby umiał sprawdzić czy GoogleBot ma dostęp do danej strony/podstrony.

Nie znalazłem w sieci niczego sensownego co by poradziło sobie rozróżnieniem pliku i folderu oraz grupowania user agentów.

Znacie jakiś dostępny skrypt lub czy jest ktoś skłonny odsprzedać sprawdzone rozwiązanie?

TBnet.pl - strony internetowe i pozycjonowanie Olsztyn.

Odnośnik do komentarza
Udostępnij na innych stronach

Myśle, że programowa analiza pliku robots.txt, to przerost formy nad treścią...

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

Wtedy zleca się lub pisze samemu oprogramowanie dedykowane...

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

Zarchiwizowany

Ten temat przebywa obecnie w archiwum. Dodawanie nowych odpowiedzi zostało zablokowane.

  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę. Warunki użytkowania Polityka prywatności