lwp-trivial 1.x - LWP::Simple 5.x - Co to jest?

[nawigator]

Co to jest:

lwp-trivial 1.x - transfer: 212396 KB / dobę :evil:

LWP::Simple 5.x - transfer: 172201 KB / dobę :evil:

To jakieś roboty?

Od dwóch dni tworzą mi na dwóch forach strasznie duży transfer.

Można toto spokojnie wyciąć? A jeśli tak czy wystarczy użyć robots.txt i będzie OK?

Ludzie pomóżcie, bo zje mi za chwilę cały transfer

[szy]

Co to jest: ...

Google naprawdę służy przede wszystkim do szukania, nie wyłącznie do pozycjonowania.

Szy.

[nawigator]

Google naprawdę służy przede wszystkim do szukania

Tak, to prawda i dlatego poszperałem tu i tam.

Niestety dotychczasowe zabiegi typu dodanie lwp-trivial do robots.txt nic nie daje. Lwp-trivial zupełnie ignoruje ten plik.

Najsuteczniej zablokować go można poprzez .htaccess

RewriteEngine On 

RewriteCond %{HTTP_USER_AGENT} ^lwp-trivial

RewriteRule ^(.*)$ https://www.robotstxt.org/ 

ale admin mojego serwera nie dopuszcza stosowanie mod_rewrite.

Spróbowałem:

SetEnvIfNoCase User-Agent "^lwp-trivial" bad_bot 

<Limit GET POST PUT HEAD> 

order allow,deny 

allow from all 

deny from env=bad_bot 

</Limit> 

ale też to nic nie daje. Pewnie z SetEnv też nie mogę korzystać.

Jakieś konstruktywne pomysły?

[Gość Anonymous]

mozna zablokowac dostep do strony wybranemu ip

[nawigator]

mozna zablokowac dostep do strony wybranemu ip

Można, ale IP za każdym razem jest inne.

Jednak ktoś podpowiedział z forum phpbb.pl jak to rozwiązać.

Podaje dla tych, którzy ewentualnie też mieliby podobne kłopoty z lwp-trivial 1.x czy z LWP::Simple i też nie mogli użyć mod_rewrite w .htaccess.

Trzeba do pliku extension.inc

dopisać:

if(strstr($_SERVER['HTTP_USER_AGENT'], 'lwp-trivial') || strstr($_SERVER['HTTP_USER_AGENT'], 'LWP::Simple')) 

{ 

die('Access denied'); 

}

I działa. Już sobie lwp-trivial nie pofolguje .

[szy]

Dodam tylko, bo pewnis szukać się nie będzie chciało:

"lwp is the www module for perl. lwp-trivial is the default user-agent

for perl scripts using lwp to access webcontent. "

Przemyślcie wiec, czy taka blokada do końca ma sens.

Szy.

[nawigator]

Przemyślcie wiec, czy taka blokada do końca ma sens.

Na razie działa i teraz za każdym razem zżera "aż" 13 bajtów transferu.

Trzeba patrzeć w logi i w razie czego znowu interweniować, ale jak masz Szy jakieś lepsze rozwiązanie to po prostu powiedz proszę.

[Gość Anonymous]

Trzeba patrzeć w logi i w razie czego znowu interweniować

a co ma zrobić ktoś taki jak ja jak dzienne loga zajmują mi 160mb?

ściągniecie ich przy moim połączeniu z internetem to dobre kilka godzin.

[szy]

Przemyślcie wiec, czy taka blokada do końca ma sens.

Na razie działa i teraz za każdym razem zżera "aż" 13 bajtów transferu.

Trzeba patrzeć w logi i w razie czego znowu interweniować, ale jak masz Szy jakieś lepsze rozwiązanie to po prostu powiedz proszę.

Tylko zwracam uwagę, że nie blokujecie żadnego konkretnego bota, jakiegoś złego przedsięwzięcia, ale narzędzie! To znaczy, że jeśli ktoś stworzy za pomocą perla 'dobrego' bota, to też go zablokujesz.

Lepiej w tym przypadku zablokować konkretnego IPka. Pewnie nie ma ich dużo, wykorzystujących perla z domyślnym UA.

Szy.

[nawigator]

Informacyjnie jeszcze dodam, że akurat w moimim przypadku zadziało jeszcze lepiej wpisanie do .htaccess:

Access deny any header User-Agent lwp-trivial* LWP::Simple*

Access allow any

i dodanie np. jeszcze tego: ErrorDoc 403 'https://www.disney.com

To eliminuje transfer z 13 bajtów za pobranie do dokładnie 0.

Wg mojego admina mamy tutaj do czynienia z wormem Santy, ktory atakuje fora phpBB i ponieważ numerów IP jest cholernie dużo, powyższy sposób jest obecnie najbardziej sensowny (ew. ten z modyfikacją extension.inc).