szukacz szaleje :)

[Maciek]

czesc,

kreci sie duza sprawa , na mojej stronie byl wczoraj robot z szukacz.pl (po raz n-ty), niby nic dziwnego, ale w ciagu 1h nastukal 600 linkow :shock: i co mnie martwi: to to, ze zaindeksowal pare linkow starej struktury serwisu (ktore sa bledne, i wskazuja na strone glowna). ale pytanie: dlaczego on tak zrobil? i co wazniejsze: skad je wzial ?

[Maciek]

sam sobie odpowiem

mimo iz zglosilem sie po raz drugi do kolejki, robot wzial sobie te stare linki ze swojej bazy (na mojej stronie ich nie ma). a wiec nie zawsze roboty zaczynaja kolejna indeksacje serwisu na "nowo", czyli od strony gl.

moze to oczywiste i proste, ale nie wiedzialem tego :roll:

[Kil Bill]

Zdarza się też, że zbieracz zapętla się -- wielokrotnie ściąga tę samą stronę, uważając, że za każdym razem ściąga coś nowego. W ten sposób może obciążać witrynę, generując niepotrzebny ruch.

Cytat

A pozatym jakaś kiepska wyszukiwarka bo kopie ma z Czerwca mojej strony 8)

[graff]

może obciążać witrynę, generując niepotrzebny ruch

mało tego - ostatnio mieliśmy alarm na pokładzie. W jednym czasie miałem roboty google, msn i własnie szukacza który uruchomił wszystko, co tylko był w stanie, zapętlił się tak, że wyskoczył error 503.