Botu Uparły Się Na Jedną Podstronę...

[dargre`]

Mam sobie taką jedną stonkę "about", wiadomo, co nieco o serwisie, nic istotnego.

I zauważyłem, że nieznane boty maltretują tą akurat podstronkę nad wyraz często. W ciągu minuty nawet 10 razy. Ki czort?

Zwyklę wchodzą na stonkę "about" i w tej samej sekundzie przeskakują na podstronkę będącą ostatnim linkiem w top menu. I zawsze tak samo - właśnie te 2 strony.

Zmieniłem ostatni link w top menu i teraz boty mielą: about i about jeszcze raz.

Kiedyś ta podstronka była "about.html", zmieniłem na samo about. A i tak boty mielą to samo. Oczywiście to są najróżniejsze IP, z najróżniejszych lokacji, nie przedstawiające się w żaden sposób. Od Malezji, przez US aż do Polski. O banowaniu nie ma mowy, bo to zbyt duże ilości IP i zawsze inne.

Naprawdę nie wiem jak sie dzidostwa pozbyć.... I tak tych botów jest cała fura, a teraz jeszcze uparcie przyczepiły się na maksa do takiej żadnej stronki...

Storna to angielski content.

[Fohd.pl]

Mam podobny problem i tez nie znam rozwiazania

[Gość]

Napiszcie sobie skrypt php, który będzie blokował dany IP w htaccess, gdy ten odwiedzi podstronę about X razy w ciągu X czasu.

[DMati]

Jak to WordPress to wtyczka Wordfence i boty będą blokowane za zbyt częste wizyty.

Jak coś innego to zainteresuj się skryptem BadBehavior.

Opcjonalnie 1: podpiąć stronki pod Cloudflare. Nie blokuje jak leci ale część zablokuje.

Opcjonalnie 2: nie przejmować się tym aż tak bardzo, każda witryna jest skanowana przez dziesiątki botów dziennie. Takie czasy.

[jimmi]

wrzucić linka do jakieś innej strony, i sprzedawać ruch

[dargre`]

Napiszcie sobie skrypt php, który będzie blokował dany IP w htaccess, gdy ten odwiedzi podstronę about X razy w ciągu X czasu.

Czytać ze zrozumieniem. To zawsze są inne IP, różne geolokolazacje, nie powiązane ze sobą. To są grube tysiące, albo więcej. Moższ sobie blokować do usr...

Nigdy też nie będą uznane jako "zbyt częste wizyty", z powodu jak wyżej.

Więc żadne ochronne gotowe skrypty tego nie wyłapią.

Sam, nie wiem....

Może budują debile boty, które szukają docelowo stron "about"

Wtedy nie pozostanie nic tylko zmienić URL np. na "mission" i to bez przekierowania, bo znowu dziadostwo tam troafi.

Tyle, że znowu wszystkie toolsy będą alarmować, że ważna stron została usunięta...

Ja się nie przejumje tak botami, mieli to to wszystkie strony jak popadnie,

nawet nie śledzę popularnych botów, ale ten jeden adres maszyny atakują wyjątkowo upierdliwie.

[Fohd.pl]

Jak to WordPress to wtyczka Wordfence i boty będą blokowane za zbyt częste wizyty.

Jak coś innego to zainteresuj się skryptem BadBehavior.

Opcjonalnie 1: podpiąć stronki pod Cloudflare. Nie blokuje jak leci ale część zablokuje.

Opcjonalnie 2: nie przejmować się tym aż tak bardzo, każda witryna jest skanowana przez dziesiątki botów dziennie. Takie czasy.

Cloud flare nic nie zdziala. Mam podpiete, a on nawet nie reaguje...

Moze skorzystam z wtyczki wordfence... No wlasnie, ale tak jak kolega up napisal ze to sa rozne ip... Banujac tak caly czas bym musial internety cale pobanowac xD

Dzisiaj do godziny 14 mam juz 12k odwiedzin botow. To raczej nie bardzo normalne

[dargre`]

Dzisiaj do godziny 14 mam juz 12k odwiedzin botow. To raczej nie bardzo normalne

Pewnie, że nienormalne, ale tak właśnie się dzieje. Na jedną realną wizytę przypada kilka albo nawet kilkadziesiąt automatów. I to jest nieskończenie długa lista różnych IP, nie powiązanych, od różnych hostów i z różnych lokalizacji.

To automaty wykorzystujące maszyny z różnych serwerów do sobie tylko wiadomych celów. Zbierające content, validujące URL, mobitory, seo zabawki, itd. itd.

Tego analitycsy najczęściej nie pokazują, więc wielu tego nawet nie widzi. Ale już w logach serwera znajdziesz, albo jak się ma własne statystyki.

To wygląda prawie jak DDOS, ale nim nie jest.

Nijak tego wyłapać, żadne skrypty, żadne firewalle...

No mógłbym wpuszczać tylko wizyty referujące, ale bym zamknął wtedy mnóstwo prawdziwych wizyt, które refa nie pokazują, lub nie mają.

Na polskich stronach może tak źle to nie wygląda, ale jak puścisz coś w angielskim, to masakra. Im dłużej strona w sieci, im lepiej znana, tym gorzej.

[Fohd.pl]

Dzisiaj do godziny 14 mam juz 12k odwiedzin botow. To raczej nie bardzo normalne

Pewnie, że nienormalne, ale tak właśnie się dzieje. Na jedną realną wizytę przypada kilka albo nawet kilkadziesiąt automatów. I to jest nieskończenie długa lista różnych IP, nie powiązanych, od różnych hostów i z różnych lokalizacji.

To automaty wykorzystujące maszyny z różnych serwerów do sobie tylko wiadomych celów. Zbierające content, validujące URL, mobitory, seo zabawki, itd. itd.

Tego analitycsy najczęściej nie pokazują, więc wielu tego nawet nie widzi. Ale już w logach serwera znajdziesz, albo jak się ma własne statystyki.

To wygląda prawie jak DDOS, ale nim nie jest.

Nijak tego wyłapać, żadne skrypty, żadne firewalle...

No mógłbym wpuszczać tylko wizyty referujące, ale bym zamknął wtedy mnóstwo prawdziwych wizyt, które refa nie pokazują, lub nie mają.

Na polskich stronach może tak źle to nie wygląda, ale jak puścisz coś w angielskim, to masakra. Im dłużej strona w sieci, im lepiej znana, tym gorzej.

Mi sie caly czas wydaje ze z czasem to ustanie, boty nie robia nic na stronie wiec chyba sobie odpuszcza...

Tak, dokladnie wyglada to jak ddos. Nie wiem co z tym wymyslec...

[dargre`]

Ja dziś np, znalazłem takiego kwiatka, robot serwisu zoominfo.com. Słyszał ktoś o tym?

Zanim go namierzyłem, przemielił mi z tysiąc podstron, dodając do skanowanych URLi, najdziwaczniesze parametry, także ze słowem javascript, które oczywiście nie istnieją.

I tak właśnie to działa, tysiące agencji, monitorów, zbierających informacje, badających rynek, używających mniej lub bardziej agresywnych narzędzi, oczywiście bez naszej zgody.

To idzie naprawdę w złą stronę, wszyscy wszystkich chcą szpiegować, namierzać, wszyscy chcą o tobie zbierać informacje, nie ma żadnego prawa do ochrony, albo jest wyłącznie dla wybranych.

Włażą z butami w Twoją własność, czy sobie tego życzysz, czy nie, zaglądają do lodówek, nieważne czy coś w nich jest czy nie ma i czy im otworzyłeś drzwi.

Kto jest największym szpiegiem to każdy wie, i on nawet się z tym specjalnie nie kryje.

[T-K]

Jeżeli masz tam coś co może wyglądać na adres email to pewnie dlatego. Jeżeli ten e-mail jest przed spamem dodatkowo zabezpieczony jakimś js to tym bardziej

dodając do skanowanych URLi, najdziwaczniesze parametry, także ze słowem javascript, które oczywiście nie istnieją.

Tutaj bym się nie doszukiwał działań agencji. a jakiegoś gagatka spamorozsyłacza

[Design Group 1]

Witam,

jeśli ktoś z was ma stronę na Joomla to polecam narzędzie Admin Tools, naprawdę świetne i bardzo przydatne narzędzie które ma ogromne możliwości.

[DMati]

Moze skorzystam z wtyczki wordfence... No wlasnie, ale tak jak kolega up napisal ze to sa rozne ip... Banujac tak caly czas bym musial internety cale pobanowac xD

To nie ma znaczenia czy to te same ip czy rozne. Ta wtyczka ma mechanizm czasowej blokady/przycięcia ruchu tak aby jakiś bot nie ubił serwera za zbyt wiele żądań/sekundę. Mało kto będzie marnował zasoby swoich spam maleństw na stronę z blokadami więc duże prawdopodobieństwo, że przez automatyczne/ręczne działanie strona czasowo lub dłużej będzie omijana.

Warto też sprawdzić te adresy ip via np: ip-adress.com/ip_tracer/ - może pochodzą z jakiegoś egzotycznego kraju z którego ruchu dopuszczać nie musimy

Ja dziś np, znalazłem takiego kwiatka, robot serwisu zoominfo.com. Słyszał ktoś o tym?

Jeżeli w logach jest unikalny nagłówek to z górki, wystarczy via htaccess ubić ten ruch - pogooglaj na ten temat.

[dargre`]

Moze skorzystam z wtyczki wordfence... No wlasnie, ale tak jak kolega up napisal ze to sa rozne ip... Banujac tak caly czas bym musial internety cale pobanowac xD

To nie ma znaczenia czy to te same ip czy rozne. Ta wtyczka ma mechanizm czasowej blokady/przycięcia ruchu tak aby jakiś bot nie ubił serwera za zbyt wiele żądań/sekundę. Mało kto będzie marnował zasoby swoich spam maleństw na stronę z blokadami więc duże prawdopodobieństwo, że przez automatyczne/ręczne działanie strona czasowo lub dłużej będzie omijana.

Warto też sprawdzić te adresy ip via np: ip-adress.com/ip_tracer/ - może pochodzą z jakiegoś egzotycznego kraju z którego ruchu dopuszczać nie musimy

Ja dziś np, znalazłem takiego kwiatka, robot serwisu zoominfo.com. Słyszał ktoś o tym?

Jeżeli w logach jest unikalny nagłówek to z górki, wystarczy via htaccess ubić ten ruch - pogooglaj na ten temat.

Trochę mało rostropne te twoje pisanie....

Bloki w htaccess to dla amatorów, kolego. Ja nawet htaccess nie używam, co by przyśpieszyć działanie stron. Wszystko ustawiam znacznie niżej.

No ale rozumiem, nie wszyscy mają dostęp do dedyków, i coś o nich wiedzą.

Ja mam pomontowane mnóstwo narzędzi na serwerze. Firewalle tez nie przepuszczą zbyt wielu takich samych żądań URL. Ale takie boty nie są takie głupie, żeby mielić wszystko w sekundzie, i w dodatku ten sam URL, co akurat jest łatwe do wyłapania.

Co niby chcesz wyłapać z takiego loga:

46.105.174.250 - - [03/May/2014:16:42:25 +0000] "GET / HTTP/1.0" 200 7886 "https://www.xxx.com/about" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.71 Safari/537.36"

Tak to właśnie wygląda, tylko IP najróżniejsze, z najróżniejszych serwerów i lokacji.

[DMati]

Trochę mało rostropne te twoje pisanie....

Bloki w htaccess to dla amatorów, kolego. Ja nawet htaccess nie używam, co by przyśpieszyć działanie stron. Wszystko ustawiam znacznie niżej.

No ale rozumiem, nie wszyscy mają dostęp do dedyków, i coś o nich wiedzą.

Ja mam pomontowane mnóstwo narzędzi na serwerze. Firewalle tez nie przepuszczą zbyt wielu takich samych żądań URL. Ale takie boty nie są takie głupie, żeby mielić wszystko w sekundzie, i w dodatku ten sam URL, co akurat jest łatwe do wyłapania.

Nie mogłeś tego zawrzeć w pierwszym poście? Pierwszy twój post nie wyglądał jak kogoś kto dedykiem zarządza tylko osoby, która ma stronę na wirtualne i nie wie co robić dalej. Także poziom odpowiedzi dostosowuje się do poziomu/możliwości osoby pytającej i tego o co pyta.

Co niby chcesz wyłapać z takiego loga:

Odnośnie logów miałem na myśli to: "Ja dziś np, znalazłem takiego kwiatka, robot serwisu zoominfo.com. Słyszał ktoś o tym? Zanim go namierzyłem, przemielił mi z tysiąc podstron" <- myślałem, że logach takiego robota wychwyciłeś i on tak mieli.

"boty maltretują tą akurat podstronkę nad wyraz często. W ciągu minuty nawet 10 razy." => "Ale takie boty nie są takie głupie, żeby mielić wszystko w sekundzie, i w dodatku ten sam URL, co akurat jest łatwe do wyłapania."