[TLUG] Referer spam

[szy]

Za Jackiem Kijewskim na TLUG-u, nie obrazi się chyba za forwarda.

Od pewnego czasu stałem się ofiarą tzw. referer spamu. Uciążliwe to

zjawisko polega na tym, że różne hosty ze świata tłuką wywołaniami HTTP

tylko po to, żeby w logu apache znalazła się jako referer strona www

reklamująca jakieś wiagry. Potem pojawia się to np. w webalizerze, przez

co dalej wpływa to na pozycjonowanie spamerskiej strony.

Ja wymyśliłem a Paweł Gabriel zrobił skrypt, który analizuje logi

apache i na bieżąco iptabluje hosty podejrzane o referer spam. Samą treść

skryptu i jego działanie zachowam sobie w tajemnicy na razie , ale wyniki

logują się do bazy danych. Zrobiłem prosty raporcik z bazy danych:

pokaż wszystkie IP, jeżeli ich liczba >5, sortując malejąca względem ich

liczby.

IP pojawia się w bazie tyle razy, ile razy go wykryto (tzn. sporo

więcej, niż próbował atakować, bo ideą systemu jest blokowanie po IP jak

najszybciej. Ale jak ktoś zapuści 1000 wywołań/sek, to zanim apache zrobi

loga, zanim skrypt, baza danych itd, to bywa, że i 100 ich się przedrze.

Ponieważ loguję również treść referera, na razie oceniam skuteczność jako:

"90% blokowania złych IP, 0% blokowania dobrych".

Skrypt działający z apachem blokuje na lokalnej maszynie, wynik raportu

służy mi do blokowania na routerze (bo po co ma mi obciążać docelową

maszynę?). Robię sobie copy-paste do odpowiedniego kawałka skryptu co

jakiś czas.

Adres onego raportu:

https://www.sail-ho.pl/refererspam.php

Jeżeli ktoś ma podobny problem, może się częstować wynikami. Względnie

mogę je dostosować do czyjejś składni (nie chce mi się robić

hiper-sparametryzowanego skryptu do golenia brody i wiązania krawatów).

Przy okazji, jak ktoś ma podobny problem i jakieś doświadczenia w jego

zwalczaniu, chętnie posłucham. Może i sam coś powiem. Warto by dopracować

pomysły przed prezentacją ich na mordpliku.

Szy.

[cyberpooh]

hmm... no tak, ale czemu logi webalizera sa na zewnatrz i na dodatek odwiedzane przez googlebota?

pozatym, lista na ruterze bedzsie wkoncu tak ogromna ze to sie mija z celem.

[papieros]

... i dlaczego ip a nie referery przeciez spamujacym chodzi o to zeby wejsc na ich strone czyli referer musi byc jaknajbardziej prawdziwy a ip moze byc podstawiony/rozny

taki automat moglby dzialac inteligentniej sprawdzac referer'a poczym obejrzec strone i jesli nie ma linku do nas alarmowac.

[jimmi]

no niby tak ale jak stronka jest z systemami lub wyświetla rotujace się reklamy to moze dostac bana za nic... chyba zeby zrobic kompilacje jak za dużo jest tego typu wejsc to dopiero co sprawdzac i blokowac

[Kasia]

Wg mnie jedyne sensowne rozwiazanie to blokowac dostep do webalizera przez uwierzytelnianie w htaccessie.

https://www.sail-ho.pl/stats/ - pr3, mozna powiedziec, ze sam sie prosi o spamowanie

Wydaje mi sie, ze Jacek i Pawel pisza skrypty dla ideii, lepiej chyba zajac sie poezja

Poza tym, to co bedzie gdy ktos uzywa do spamowania setek elite proxy?

[Rafal]

https://www.sail-ho.pl/stats/ - pr3, mozna powiedziec, ze sam sie prosi o spamowanie

W zamierzchłych czasach wpadłem na taki pomysł

https://www.forum.optymalizacja.com/index.php?showtopic=2858

Ciekawe, czy w Webalizerze by działało, bo wystarczyłoby tylko 15 odwołań. Dodam, że skrypt Jamesisko do łapania botów jest na to podatny i można sobie linka wstawić.

[piotrek]

Po pierwszym zdaniu tego cytatu chyba kazdy zadaje sobie pytanie - kto trzyma dostep do takich statystyk otwarty i po co?