Robot do wyszukiwania 301, 302, 404 itd.

[verSuS]

Jest jakieś narzędzie sprawdzające linki na serwisie, pod kątem statusów innych niż 200?

Kluczowa jest wydajność, serwis ma ponad 25 milionów różnych urli.

[DanielBurchardt]

Co rozumiesz pod pojęciem linki na serwisie ? Parsowanie źródła strony w poszukiwaniu linków i ich sprawdzaniu ?

[verSuS]

Tak, parsowanie kodu, wybieranie linków (głównie wewnętrzne by mnie interesowały) no i sprawdzenie nagłówka.

Na jednej ze stron mam ponad 20% statusów innych niż 200 dla Googlebota, a nigdzie nie mogę się dopatrzeć błędów w regułach htacces w sitemapach czy linkach na stronie.

Same akcje dla pojedyńczej strony są proste, ale robot latający po tak dużym serwisie jest już kłopotliwy.

e: tak myślę czy nie lepiej byłoby skorzystać z logów Apache'a do tego? Sprawdzać accessloga, i kontrolować tylko referery urli, które powodują inny status niż 200.

[DanielBurchardt]

Raczej w grę wchodzi dedykowanie rozwiązanie a napisanie czegoś takiego nie byłoby zbytnio trudne.

[SirZooro]

Ja używam Xenu do tego. Nie wiem jednak jak poradzi sobie z taką dużą ilością adresów do sprawdzenia.

[verSuS]

ze 100G ramu by się dla tego xenu przydało chociaż jeżeli chodzi o funkcjonalność to ekstra.

w najgorszym przypadku rozdzielę jego pracę na kilka projektów grupując poszczególnymi katalogami.

może coś takiego pod linuxa?

[NieW]

może coś takiego pod linuxa?

swish-e

# SPIDER_DEBUG=url ./spider.pl default https://x.x.x/x.xxx > /dev/null a potem możesz to sobie przejechać awk i posortować po kodach nagłówków