Poszukiwany dobry parser robots.txt

[tbnet]

Szukam gotowego, dobrego skryptu do parsowania pliku robots.txt

Żeby umiał sprawdzić czy GoogleBot ma dostęp do danej strony/podstrony.

Nie znalazłem w sieci niczego sensownego co by poradziło sobie rozróżnieniem pliku i folderu oraz grupowania user agentów.

Znacie jakiś dostępny skrypt lub czy jest ktoś skłonny odsprzedać sprawdzone rozwiązanie?

[tbnet]

Dzięki za pomoc. Myślisz że nie przetestowałem tych rozwiązań? Cała pierwsza strona to kiepskie rozwiązania, niektóre nawet komentarzy nie ignorują i #Disallow: / widzą jako blokadę.

[Mion]

Myśle, że programowa analiza pliku robots.txt, to przerost formy nad treścią...

[tbnet]

Chyba że ma się do przeanalizowania kilka tysięcy plików tygodniowo.

[Mion]

Wtedy zleca się lub pisze samemu oprogramowanie dedykowane...

[tbnet]

Taka dyskusja jest bezcelowa.

Wracając do głównego wątku, może jednak ktoś jest w stanie dostarczyć wartościowe informacje?

[MaxPan]

https://www.forum.optymalizacja.com/topic/210567-znaleziono-tobbot-wielofunkcyjny-darmowy-seosoft-automatyzujacy-czynnosci-w-internecie/