Zaginione linki

[emiliann]

Od pewnego czasu GoogleSiteMap raportuje mi błedy 404 których nie potrafie wyeliminować. Wskazuje na strony których nie ma a których, właściwie nie stron tylko linków do nich, ja nie potrafię odszukać.

Czy znacie jakąs metodę aby określić stronę, podstronę serwisu z której robot wlazł do 404? To by zawęziło zakres poszukiwań.

Serwis o którym piszę to www.fit.pl. Jest on z jednej strony prosty jak budowa cepa, z drugiej strony jednak aby ta "prostota" działała musiałem użyc dośc skomplikowanych narzędzi a linki do podstron których nie ma wyglądaja bardzo prawdopodobnie.

Próbowałem wyświetlać linki na potencjalnie błędnych stronach w takiej nakładce dla deweloperow dla Firefoxa i nic nie znalazłem.

[viras]

Czy znacie jakąs metodę aby określić stronę, podstronę serwisu z której robot wlazł do 404? To by zawęziło zakres poszukiwań.

Logi serwera

[Erbit]

Logi serwera

Nie masz racji. Logi serwera nie pokazą SKAD przyszedl robot.

Jesli masz błąd w skrypcie i on powoduje linkowanie do nieistniejącej strony - to trudno bedzie pomóc

[viras]

Logi serwera

Nie masz racji. Logi serwera nie pokazą SKAD przyszedl robot.

Mysle ze mam racje w przypadku naszego serwisu. Mozna przejzec pokolei jakie strony odwedzil i ktora byla przed 404. W przypadku gdy trafia na 404 z zewnatrz wtedy logi nie pomoga bo boty nie przekazuja REFFERER.

[Erbit]

Najpierw przemyśl jak biega robot (google) po Twoich stronach.

Czy to, że odwiedza jakieś kolejne strony znaczy że idzie po nich link za linkiem ? Znaczy, że każda strona poprzednia ma link do następnej !? Popatrz na sposób indeksacji nowego serwisu. Tam pieknie widać jak G indeksuje.

p.s. nie cytuj bez potrzeby

[viras]

hmmmmmmmm ok mozliwe ze masz racje nie porusza sie link za linkiem.

Ok to mozna napisac skrypt ktory przeleci wszystkie linki z SiteMap i wyluskac te z 404. Taki skrypt na baze curl to 20 min klepania.

[Erbit]

Wg moich obserwacji G biega po linkach z innych podstron tego samego serwisu dopiero w nastepnej kolejce indeksowania.

Czyli biega po tych linkach ktore juz wczesniej kiedys zaindeksował a nie po linkach obecnie zaindeksowanych, czyli w głąb serwisu idzie dopiero przy następnym indeksowaniu. Oczywiście zależność ta zaciera się gdy serwis jest już dłuższy czas indeksowany - wtedy G może pojawić sie na kilku głębokościach jednocześnie.

Pomysł ze skryptem na wychwycenie 404 niezły