Czy znacie crawlery które przekazują referera?

[jez]

Witajcie,

Czy spotkaliście się kiedykolwiek z robotem który przekazywał referera, a co za tym idzie czy w wypadku niestandardowego user-agenta przy refererze dłuższym niż 1 można wykluczyć to, że odwiedził nas crawler?

Przy okazji, wywalajcie popularny ostatnio "DeltaScan", to harvester mailowy.

Pozdrawiam, J.

[Maciek]

Czy spotkaliście się kiedykolwiek z robotem który przekazywał referera

nie spotkalem.

pomijam spamowanie statystyk, czyli podszywanie UA pod gbot (lub msnbot) i ustawianie w referer smieci stron.

wywalajcie popularny ostatnio "DeltaScan", to harvester mailowy.

pisalem juz o tym tutaj

[piotrek]

nie spotkalem.

również nie spotkałem takiego robota

wyjątek stanowią także serwery proxy oraz systemy np. whois

[szy]

A czy, mówiąc o 'prawdziwym' robocie, refererowanie w ogóle ma

miejsce? Czy nie jest to za każdym razem pobranie zawartości adresu

z bazy wyszukiwarki?

Przecież robot nie jest organizmem, nie chodzi, jak się potocznie mówi,

itp. Wiesz to doskonale Jeżu :].

Więc - albo szukasz coś czego nigdy nie było, albo celowo szukasz

pseudorobotów?

Szy.

[piotrek]

Szkoda, ze wcześniej tego testu nie zrobiłem. Z ciekawości zapuściłem przed chwilą małego crawlerka wypuszczonego z localhosta, który pokazuje referrer - wyraźnie skacze od strony do strony.

Dopiero dziś zapuściłem go na serwis w którym mam uruchomiony system wyłapywania robotów i trochę mnie zaskoczyły wyniki - system nie pokazał Referrer :?

kto poda jakiś swój monitorowany adres do przeskanowania ?

[michal]

A ja spotkalem sie z takim robotem. Nazywa sie BecomeBot i pokazuje referrera. Moze i to jest wtedy organizm, ktory chodzi.