Lista robotów sieciowych z odnośnikami do wątków

[michal999]

niewiem, ale jak ktos chce moze usunac

ps;

sa tam adresy ip robotow zbierajacych maile, spamujacych oraz hakerow i lame hakerow

Edytowane 30 Maja 2007 przez michal999

[dariusz_w]

Witam

Widzę że temat jest bardzo rozległy a ja się bawię webmasterką od niedawna ale do rzeczy.

Może dla was jest to jasne i oczewiste ale nie mogę znaleźć informacji na temat robota gemiusbot ostatnio strasznie lata po mojej stronie.

dodatkowo podaję listę innych złowionych przez mojego łapacza nazwy i nr ip może cos nowego znajdziecie.

1 gemiusbot 23 11 2007 - 08:59:47 85.232.246.151

27 Unknown browser; unknownn OS 23 11 2007 - 05:57:11 213.199.205.193

28 gemiusbot 23 11 2007 - 05:54:02 85.232.246.151

32 nrsbot/5.0(loopip.com/robot.html) 23 11 2007 - 05:47:27 71.198.105.229

33 gemiusbot 23 11 2007 - 05:46:34 85.232.246.151

52 nrsbot/5.0(loopip.com/robot.html) 23 11 2007 - 03:48:30 71.198.105.229

53 gemiusbot 23 11 2007 - 03:44:58 85.232.246.151

82 MERONG(0.9/;p) 22 11 2007 - 22:19:49 195.114.66.102

83 Unknown browser; unknownn OS 22 11 2007 - 17:36:07 83.15.128.242

84 Words & Phrases (server request test of adding site, https://www.webwweb.com) 22 11 2007 - 16:48:28 81.21.193.72

85 gemiusbot 22 11 2007 - 16:13:32 85.232.246.151

98 Microsoft Windows Network Diagnostics 22 11 2007 - 11:48:33 123.200.248.116

99 Microsoft Windows Network Diagnostics 22 11 2007 - 07:32:08 88.77.45.15

100 Unknown browser; unknownn OS 22 11 2007 - 06:46:41 213.199.205.193

101 Mediapartners-Google 21 11 2007 - 23:59:11 66.249.65.180

102 Words & Phrases (server request test of adding site, https://www.webwweb.com) 21 11 2007 - 21:18:11 81.21.193.72

103 Unknown browser; unknownn OS 21 11 2007 - 17:31:17 213.199.205.193

104 Unknown browser; unknownn OS 21 11 2007 - 06:17:44 213.199.205.193

105 Nutscrape/1.0 (CP/M; 8-bit) 20 11 2007 - 18:22:47 unknown

106 Unknown browser; unknownn OS 20 11 2007 - 18:00:16 213.199.205.193

107 Mediapartners-Google 19 11 2007 - 20:12:01 66.249.66.52

108 Nogate:122.152.128.21 19 11 2007 - 15:40:28 210.188.214.241

109 Words & Phrases (server request test of adding site, https://www.webwweb.com) 18 11 2007 - 19:59:44 81.21.193.72

110 Words & Phrases (server request test of adding site, https://www.webwweb.com) 18 11 2007 - 18:20:17 81.21.193.72

111 Mediapartners-Google 18 11 2007 - 16:14:51 66.249.72.168

112 Nogate:122.152.128.21 17 11 2007 - 14:20:27 210.188.214.241

113 VadixBot 17 11 2007 - 08:34:34 67.78.34.166

114 VadixBot 17 11 2007 - 03:40:19 67.78.34.166

115 Mediapartners-Google 16 11 2007 - 22:37:13 66.249.72.168

116 general.useragent.override 16 11 2007 - 22:20:03 80.72.39.66

117 Mediapartners-Google 16 11 2007 - 18:25:50 66.249.72.168

118 Words & Phrases (server request test of adding site, https://www.webwweb.com) 16 11 2007 - 03:43:44 81.21.193.72

119 Words & Phrases (server request test of adding site, https://www.webwweb.com) 16 11 2007 - 03:32:17 81.21.193.72

120 Words & Phrases (server request test of adding site, https://www.webwweb.com) 16 11 2007 - 01:21:58 81.21.193.72

121 general.useragent.override 15 11 2007 - 19:52:14 80.72.39.66

122 Words & Phrases (server request test of adding site, https://www.webwweb.com) 15 11 2007 - 16:33:49 81.21.193.72

125 MEGAUPLOAD 1.0 15 11 2007 - 14:50:20 83.14.176.74

126 User-Agent 14 11 2007 - 22:22:33 193.151.24.113

127 MEGAUPLOAD 1.0 14 11 2007 - 07:13:02 83.14.176.74

128 shelob v1.0 14 11 2007 - 06:20:34 208.223.208.181

129 Mediapartners-Google 14 11 2007 - 00:05:33 66.249.65.98

130 Mediapartners-Google 13 11 2007 - 22:06:42 66.249.65.98

131 Words & Phrases (server request test of adding site, https://www.webwweb.com) 13 11 2007 - 09:33:17 81.21.193.72

132 shelob v1.0 13 11 2007 - 04:28:13 208.223.208.181

133 shelob v1.0 13 11 2007 - 04:28:13 208.223.208.181

134 shelob v1.0 13 11 2007 - 02:24:10 208.223.208.181

135 Mediapartners-Google 12 11 2007 - 19:34:39 66.249.72.16

136 Snapbot/1.0 (Snap Shots, +https://www.snap.com) 12 11 2007 - 14:23:07 38.98.19.68

137 Words & Phrases (server request test of adding site, https://www.webwweb.com) 12 11 2007 - 10:42:40 81.21.193.72

138 Words & Phrases (server request test of adding site, https://www.webwweb.com) 12 11 2007 - 10:39:04 81.21.193.72

139 MEGAUPLOAD 1.0 12 11 2007 - 07:49:52 83.14.176.74

140 Words & Phrases (server request test of adding site, https://www.webwweb.com) 11 11 2007 - 20:11:17 81.21.193.72

141 Words & Phrases (server request test of adding site, https://www.webwweb.com) 11 11 2007 - 09:40:04 81.21.193.72

142 RGScan/Nutch-0.9 (pchang at riverglassinc) 1 11 2007 - 17:05:49 72.36.94.20

143 Words & Phrases (server request test of adding site, https://www.webwweb.com) 1 11 2007 - 01:53:23 81.21.193.72

144 RGScan/Nutch-0.9 (pchang at riverglassinc) 31 10 2007 - 22:36:44 72.36.94.20

145 RGScan/Nutch-0.9 (pchang at riverglassinc) 31 10 2007 - 20:45:38 72.36.94.20

146 RGScan/Nutch-0.9 (pchang at riverglassinc) 31 10 2007 - 16:33:25 72.36.94.20

147 RGScan/Nutch-0.9 (pchang at riverglassinc) 30 10 2007 - 22:10:40 72.36.94.20

148 Words & Phrases (server request test of adding site, https://www.webwweb.com) 30 10 2007 - 20:57:22 81.21.193.72

149 RGScan/Nutch-0.9 (pchang at riverglassinc) 30 10 2007 - 20:13:51 72.36.94.20

150 RGScan/Nutch-0.9 (pchang at riverglassinc) 30 10 2007 - 18:32:05 72.36.94.20

151 Microsoft-WebDAV-MiniRedir/5.1.2600 28 10 2007 - 14:42:05 83.28.189.251

152 Microsoft-WebDAV-MiniRedir/5.1.2600 28 10 2007 - 14:42:04 83.28.189.251

153 Microsoft-WebDAV-MiniRedir/5.1.2600 28 10 2007 - 14:42:03 83.28.189.251

154 Words & Phrases (server request test of adding site, https://www.webwweb.com) 28 10 2007 - 12:22:56 81.21.193.72

155 Words & Phrases (server request test of adding site, https://www.webwweb.com) 28 10 2007 - 12:05:52 81.21.193.72

156 Words & Phrases (server request test of adding site, https://www.webwweb.com) 25 10 2007 - 10:25:44 81.21.193.72

157 curl/7.16.2 (i686-redhat-linux-gnu) libcurl/7.16.2 OpenSSL/0.9.8b zlib/1.2.3 lib... 24 10 2007 - 14:11:47 218.108.10.226

158 curl/7.16.2 (i686-redhat-linux-gnu) libcurl/7.16.2 OpenSSL/0.9.8b zlib/1.2.3 lib... 24 10 2007 - 14:11:44 218.108.10.226

159 Words & Phrases (server request test of adding site, https://www.webwweb.com) 24 10 2007 - 12:00:46 81.21.193.72

160 MSID [CD8A7D9077214DA9C0EA79F3157AE46A]|gucci|108 23 10 2007 - 11:25:24 67.150.12.225, 6

161 curl/7.16.2 (i686-redhat-linux-gnu) libcurl/7.16.2 OpenSSL/0.9.8b zlib/1.2.3 lib... 22 10 2007 - 23:56:35 218.108.10.226

162 curl/7.16.2 (i686-redhat-linux-gnu) libcurl/7.16.2 OpenSSL/0.9.8b zlib/1.2.3 lib... 22 10 2007 - 23:56:34 218.108.10.226

163 Words & Phrases (server request test of adding site, https://www.webwweb.com) 22 10 2007 - 11:54:43 81.21.193.72

164 Words & Phrases (server request test of adding site, https://www.webwweb.com) 22 10 2007 - 09:42:38 81.21.193.72

165 Words & Phrases (server request test of adding site, https://www.webwweb.com) 19 10 2007 - 10:58:10 81.21.193.72

166 general.useragent.override 18 10 2007 - 21:44:51 80.72.39.66

167 Words & Phrases (server request test of adding site, https://www.webwweb.com) 18 10 2007 - 12:22:17 81.21.193.72

168 Lorkyll 3.0 -- lorkyll@444.net 18 10 2007 - 03:25:59 212.77.102.143

169 Lorkyll 3.0 -- lorkyll@444.net 17 10 2007 - 03:24:43 212.77.102.143

170 Words & Phrases (server request test of adding site, https://www.webwweb.com) 16 10 2007 - 13:14:11 81.21.193.72

171 Lorkyll 3.0 -- lorkyll@444.net 16 10 2007 - 03:20:12 212.77.102.143

172 Lorkyll 3.0 -- lorkyll@444.net 15 10 2007 - 03:27:31 212.77.102.143

173 Tucznik 14 10 2007 - 20:19:08 83.31.167.132

174 Words & Phrases (server request test of adding site, https://www.webwweb.com) 14 10 2007 - 16:27:05 81.21.193.72

175 Lorkyll 3.0 -- lorkyll@444.net 14 10 2007 - 03:26:44 212.77.102.143

176 Lorkyll 3.0 -- lorkyll@444.net 13 10 2007 - 03:20:27 212.77.102.143

177 Words & Phrases (server request test of adding site, https://www.webwweb.com) 12 10 2007 - 22:30:26 81.21.193.72

178 Lorkyll 3.0 -- lorkyll@444.net 12 10 2007 - 03:25:46 212.77.102.143

179 Words & Phrases (server request test of adding site, https://www.webwweb.com) 11 10 2007 - 23:21:27 81.21.193.72

180 Microsoft Windows Network Diagnostics 2 10 2007 - 09:56:25 217.28.182.5

181 Words & Phrases (server request test of adding site, https://www.webwweb.com) 30 9 2007 - 11:50:02 81.21.193.72

182 NASA.gov 29 9 2007 - 22:44:05 87.207.200.125

183 NASA.gov 29 9 2007 - 16:35:33 87.207.200.125

184 IEAutoDiscovery 25 9 2007 - 17:33:40 83.10.96.124

185 Anonymized by Steganos Internet Anonym 2006 24 9 2007 - 13:16:26 158.75.213.199

186 DataCha0s/2.0 22 9 2007 - 00:40:13 62.141.56.158

187 Java/1.6.0_01 19 9 2007 - 19:41:57 81.190.159.194

188 IEAutoDiscovery 19 9 2007 - 09:50:29 83.10.152.138

189 Moreoverbot/3.00 (+https://www.moreover.com) 16 9 2007 - 04:55:09 170.224.8.108

190 Moreoverbot/5.00 (+https://www.moreover.com) 16 9 2007 - 01:24:34 72.13.32.7

191 IEAutoDiscovery 15 9 2007 - 13:46:57 83.4.191.166

192 MSNPTC/1.0 9 9 2007 - 23:37:15 131.107.0.74

193 CFNetwork/129.21 6 9 2007 - 08:46:12 124.81.132.62

194 Microsoft-WebDAV-MiniRedir/6.0.6000 20 8 2007 - 10:47:38 85.112.194.165

195 whats up doc?! 18 8 2007 - 17:09:53 89.78.216.119

196 POE-Component-Client-HTTP/0.65 (perl; N; POE; en; rv:0.650000) 17 8 2007 - 12:04:17 64.239.7.216

197 p0rn-bot 0.0.4/1.12 10 8 2007 - 23:47:45 80.129.216.23

198 Express WebPictures (www.express-soft.com) 4 8 2007 - 00:06:57 201.21.87.122

199 poland-pl.org/0.8 (+https://poland-pl.org/directory/) 2 8 2007 - 17:05:51 206.196.111.201

200 robotek 20 7 2007 - 15:23:05 217.96.108.10

201 FDM 2.x 11 7 2007 - 08:41:34 213.77.220.218

202 Mister Pix II 2.15 11 7 2007 - 00:29:16 84.164.125.49

203 Haxxxored (Linux ROX !; Fajna przegladarka; Linux i686; SV1; .NET CLR 2.0.50727;... 9 7 2007 - 14:14:56 82.210.155.87

204 GurujiBot/1.0 (+https://www.guruji.com/en/WebmasterFAQ.html) 7 7 2007 - 02:07:55 72.20.109.34

205 general.useragent.override 25 6 2007 - 18:15:02 80.72.39.66

206 UtilMind HTTPGet 17 6 2007 - 17:24:30 217.153.7.37

207 Microsoft URL Control - 6.00.8169 14 6 2007 - 22:05:44 217.91.118.62

208 ompatible 7 6 2007 - 21:28:18 88.156.65.7

209 Pagebull https://www.pagebull.com/ 5 6 2007 - 08:43:47 209.9.228.170

210 LWP::Simple/5.801 31 5 2007 - 09:46:44 59.139.20.98

211 Jakarta Commons-HttpClient/3.0-rc2 31 5 2007 - 03:07:12 217.153.56.18

212 UC 31 5 2007 - 03:03:13 60.236.94.169

213 bot/1.0 (bot; https://; bot@bot.bot) 28 5 2007 - 04:43:48 71.13.115.117

214 Microsoft Windows Network Diagnostics 19 5 2007 - 15:16:30 89.238.4.204

215 IEAutoDiscovery 18 5 2007 - 01:42:33 212.76.37.140

216 Gigabot/1.0 11 5 2007 - 01:17:26 38.114.104.60

217 Kaspersky HTTP Transport 4 5 2007 - 21:57:29 83.16.161.146

218 Microsoft Office Protocol Discovery 4 5 2007 - 14:10:54 87.105.2.134

219 GTS/1.01 23 4 2007 - 14:25:34 65.111.169.1

220 DataCha0s/2.0 23 4 2007 - 08:02:04 200.166.228.75

221 Microsoft-WebDAV-MiniRedir/5.1.2600 19 4 2007 - 16:51:43 83.18.219.50

222 gecko 7 4 2007 - 18:48:55 194.169.126.2

223 larbin_2.6.3 larbin2.6.3@unspecified.mail 6 4 2007 - 07:34:42 202.61.20.73

224 Nutscrape/1.0 (CP/M; 8-bit) 5 4 2007 - 18:24:12 83.19.35.166

225 Python-urllib/1.16 4 4 2007 - 00:53:34 208.223.208.181

226 lwp-request/2.07 30 3 2007 - 11:38:13 213.133.221.138

227 hohotestbot/Nutch-0.8.1 (HOHO Test Bot (Nutch); no.urlyetjustesting.com) 18 3 2007 - 07:44:19 24.231.207.219

228 Snoopy v1.2 2 3 2007 - 06:50:23 213.240.225.101

229 libwww-perl/5.803 1 3 2007 - 07:05:26 193.238.230.114

230 Words & Phrases (server request test of adding site, https://www.webwweb.com) 25 2 2007 - 10:34:45

[Sanchez Spinoza]

Zadam teraz pytanie czysto retoryczne żebyście mnie nie posądzali o nieetyczne zachowanie.

Otóż czy praktykuje się lub czy wy praktykujecie metodę:

header("location: https://www.adrestwojejkonkurencji.pl");
header("Connection: close");

Edytowane 29 Kwietnia 2008 przez Sanchez Spinoza

[Sanchez Spinoza]

Takie gów*o mnie ostatnio dopadło:

Host: 216.151.39.66

Agent: IIITBOT/1.1 (Indian Language Web Search Engine; https://webkhoj.iiit.net; pvvpr at iiit dot ac dot in)

Na forum raczej nie było bo przeszukiwałem.

[SithMan76]

Jako że jeszcze mam mało doświadczenia jeśli chodzi o roboty sieciowe chciałbym się zwrócić do bardziej doświadczonych osób.A mianowicie zagniezdziło się na mojej stronie takie coś WebAlta Crawler/2.0 czy nie jest to przypadkiem harvester zbierający dane o mailach i czy można go w jakiś sposób zablokować???Drugie pytanie czy ten robot nie pożera transferu????

[ognos]

Jako że jeszcze mam mało doświadczenia jeśli chodzi o roboty sieciowe chciałbym się zwrócić do bardziej doświadczonych osób.A mianowicie zagniezdziło się na mojej stronie takie coś WebAlta Crawler/2.0 czy nie jest to przypadkiem harvester zbierający dane o mailach i czy można go w jakiś sposób zablokować???Drugie pytanie czy ten robot nie pożera transferu????

Kazdy robot, ktory odwiedzi Twoja strone pozera transfer. A ten Webalta to jakis ruski - https://www.webalta.net/ru/about_webmaster.html

[SithMan76]

Adres www standardowo jest nie właściwy.A ten bot zagnieżdził się na dobre na stronie a więc nasuwa się pytanie czy można go zablokować po np. IP tak żeby nie wskakiwał na stronę czy macie może jakieś inne propozycje????

[SithMan76]

Ok juz po sprawie zablokowalem go po IP o koniec odwiedzania strony.

[tomek.l]

Odwiedziło mnie takie coś

72.55.156.23 - "Toata dragostea mea pentru diavola"

To podobno jakiś skaner luk zabezpieczeń

[ubaff]

szkoda ze ktoś nie prowadzi listy wszystkich botów z tego postu

[sleaquit]

dla arniego

najbardziej upierdliwy moze byc rome/java bo czasami jak sie zapetli to moze wyjesc kilkadziesiat mb na strone

# Rome Client i Java/1.6.0_14

deny from 67.210.218.100

deny from 67.210.218.103

# Jakarta i Moreoverbot

deny from 64.94.66.97

# radian6_default

deny from 142.166.170.100

[arve_lek]

Lepiej zabezpieczyć się przed niepotrzebnymi robotami dzięki htaccess czy poprzez skrypt?

[sleaquit]

# YandexBot

deny from 178.154.160.30

# MJ12bot

deny from 84.202.172.70

# SiteBot

deny from 212.113.35.162

# GeoHasher/Nutch-1.0

deny from 174.121.74.234

wspolny atak na sporo stron i o malo nie zablokowali mi konta...

[mmr88]

Przesyłam Wam listę IP niepotrzebnie zużywających transfer i obciążenie. Lista zawiera głównie boty(w tym sitebot, yandex, baidu, majestic12, radian6 itd) oraz kilka ip serwerów mega spamujących katalogi(mi zajeżdżały webmini, trochę aż za bardzo). Nam po zablokowaniu tych ip'ków zużycie znacznie spadło, także może komuś się przyda:

62.163.193.35

67.210.218.105

142.166.170.103

207.34.25.137

75.101.185.50

207.34.25.76

67.202.51.142

188.165.226.104

91.200.32.238

94.23.60.25

188.165.201.135

188.165.224.137

91.200.32.238

88.198.47.13

195.245.66.125

188.165.210.129

88.131.106.22

50.22.24.239

212.113.37.*

95.108.158.*

123.125.71.*

Sory, że nie ma przy IP co to jest, ale gwarantuje, że to tylko niepotrzebne boty i spamiarki, sprawdzałem każde IP "czym jest".

[biczpl]

Jak poprawić skrypt blokrob.php aby działał pod PHP 5.3? Wygooglałem, że eregi należy zamienić na preg_match, ale sama zamiana jeden do jednego chyba nie wystarcza, bo wyskakują błędy. Czy ktoś podpowie?