Lista robotów sieciowych z odnośnikami do wątków

[szy]

zastanawia mnie czym się różni

User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1;

od  

User-Agent: Googlebot/2.1  

:?

Kiedyś tu snuliśmy przypuszczenia, że to wykrywacz kloukingu :>. Chyba

jednak trudno w to wierzyć, z oczywistych powodów.

Szy.

[jez]

Kiedyś tu snuliśmy przypuszczenia, że to wykrywacz kloukingu :>.

Tak, to ten niewidoczny, z antyradarem. ))

Pozdrawiam, J.

[piotrek]

przypuszczenia

też miałem przypuszczenia że coś sobie tam bada, problem w tym ze teraz to za już dużo posdstron sobie bada a za mało dodaje do indexu, no i ten Yahoo z podobną składnią...

na chwilę powieszę się na Yahoo... łazi mi dość intensywnie po stronach ale cały czas wciska kwadraciki i znak równania (coś w tym stylu) Idę zerknać do części poświęconej Yahoo ale przezornie i tu zapytam - czy ktoś miał podobny problem?

Tak, to ten niewidoczny, z antyradarem. ))

z zawieszonym CD na wstecznym lusterku

[Maciek]

czy ktoś miał podobny problem?

mam podobny problem.. tzn Slurpik zle koduje ',' w url i wychodza mu %2C.

dwa razy pytalem na forum tak 'przy okazji'. jednak nikt nie wiedzial. hmm to moze wspolnie znajdziemy hacka ?

[piotrek]

mam podobny problem

to go ciachaj - ja dałem dokladnie coś takiego i działa w 100%!

if (eregi("%E2%8C%A9", $_SERVER[REQUEST_URI])) {



$_SERVER[REQUEST_URI] = eregi_replace("%E2%8C%A9(.*)$", "〈=en", $_SERVER[REQUEST_URI]);



header("HTTP/1.1 301 Moved Permanently"); 

header("Location:  https://www.webwweb.com$_SERVER[REQUEST_URI]"); 

header("Connection: close"); 

} else {



// właściwa treść



}

u mnie chyba chodzi o to że stosuje & zamiast &, jak będę miał więcej czasu to się temu przyglądnę

[piotrek]

przy okazji mam kolejne cuś

User-Agent: IRLbot/1.0 (+https://irl.cs.tamu.edu/crawler)

nazwa: irl-crawler.cs.tamu.edu

ip: 128.194.135.80

[info] nie wiem czego to coś chce ale na stronach nie znalazłem okienka wyszukiwarki

[zero3]

mam tez takich agentow:

User-Agent: OmniExplorer_Bot/1.07 (+https://www.omni-explorer.com)

nazwa: Job Crawler

ip: 64.62.175.138

[info] wyszukiwarka ale "registered beta testers only"

User-Agent: EasyDL/3.04 (https://keywen.com/Encyclopedia/Bot)

nazwa: Keywen Encyclopedia Bot

[info] Keywen Bot is a program that is looking for short recognizable phrases on different websites (all over the Internet) in order to create Keywen links to these sites.

[piotrek]

User-Agent: WebCopier v3.0

IP: 83.28.134.127

host: bis127.neoplus.adsl.tpnet.pl

[info] Use this powerful offline browser to record websites and store them locally until you are ready to view them.

[djumbo]

Złapany:

User-Agent: NetResearchServer (NRS)

host: user-0c99n4v.cable.mindspring.com

nazwa NetResearchServer/2.9 (loopimprovements. com/robot.html)

Bazuje na danych z DMOZ, z opisu wynika że przychodzi raz w miesiącu

[zero3]

User-Agent: LmCrawler

host: ourlinks.org

[info] 'KADERA LINKS MANAGER' (?)

wczoraj naciągnął mi 90Mega, juz zablokowany :twisted:

[Maciek]

UA: Mozilla/4.0 (compatible; MSIE 6.0; Windows XP Professional Bot v.5.)

IP: 69 .31. 80. 250

host: colo-69-31 -80- 250. pilosoft. com

[info] szybki, nie wchodzi na podstrony. nawet nie sprawdzam co to za jeden. zablokowany.

[piotrek]

Złapany:

User-Agent: Missigua Locator 1.9

ip: 65.110.43.50

host: unknown.sagonet.net

[info] jeszcze nie sprawdzałem co to

[Pasja]

mam ale niestety tylko nazwy botow, wiecej info podam pozniej jak znajde troszke czasu zeby opisac

pobrane z RewriteSimple by Crack

alexa

alltheweb

almaden.ibm.com

appie 1.1

architext

ask jeeves

asterias2.0

augurfind

baiduspider

bannana_bot

bdcindexer

crawler@fast

crawl

directhit

docomo

fast-webcrawler

fluffy the spider

frooglebot

geobot

googlebot

gulliver

henrythemiragorobot

holmes

hotbot

ia_archiver

infoseek

kit_fireball

lachesis

lycos_spider

mantraagent

mixcat

mercator

moget/1.0

muscatferret

nationaldirectory-webspider

naverrobot

ncsa beta

netresearchserver

netsprint

ng/1.0

osis-project

polybot

pompos

robot

scooter

seventwentyfour

sidewinder

sleek

slurp@inktomi.com

slurp

steeler/1.3

szukacz

msnbot

t-h-u-n-d-e-r-s-t-o-n-e

teoma

turnitinbot

ultraseek

vagabondo

voilabot

w3c_validator

zao/0

zyborg/1.0

[Maciek]

mam ale niestety tylko nazwy botow, wiecej info podam pozniej jak znajde troszke czasu zeby opisac

nie psuj nam zabawy

to co wkleiles jest malo przydatne. kazdy spotkal juz i wie co to 'msnbot, ia_archiver' itd.

a robotow 'acfjuwefh' to ja mam tyle, ze ich nawet nie wrzucam.. 8)

generalnie: tu jest lista robotow - mniej lub bardziej znanych - ktore generuja X odwiedzin / dobe - i ktore to m.in. podejrzewamy o zbieranie mejli, sciaganie transferu itd.

[djumbo]

User-Agent: TurnitinBot/2.0

host: cr2.turnitin.com

[info] Robocik który zbiera informacje po różnych stronach przeznaczony dla instytucji edukacyjnych - aby uprzykrzyć życie uczniom i studentom - przeciwdziała plagiatom - dalsze inf. https:// www. turnitin. com/robot/crawlerinfo.html