Duża ilość botów indeksujących na stronie

[ijoseph]

Czy to normalne? Zazwyczaj na naszej stronie było ich kilka, wczoraj wieczorem koło 23 było 11. Wiem że zazwyczaj boty są aktywne głównie w nocy ale dzisiaj rano było ich aż 8. Sklep internetowy ma 3 miesiące i około 2500 produktów

Screen poniżej:

[MaxPan]

a poco wam ahrefs na stronie? już dawno tzreba było to zablokować i bedzie już na 30% mniej

[mghost.pl]

Faktycznie czasami tych crawlerów jest więcej niż 1-2 w danym momencie. Jeden z naszych klientów mial sytuację, że na vpsie load rósł do 10, bo właśnie roboty go odwiedzały po tym, jak zapomniał opłacić domeny i przez ponad dobę był niewidoczny w sieci.

[ijoseph]

nie wiem po co nam ahrefs ja z nimi nie mam nic wspólnego

[bananasltd]

@po co - MaxPan mówi:już dawno tzreba było to zablokować i bedzie już na 30% mniej

zablokuj

[kikimora]

Też mam problem z bootami, jak je sprawdzać i  blokować? W tym temacie raczej jestem zielona

[Rychu]

  W dniu 2.06.2016 o 10:23, kikimora napisał(a):

Też mam problem z bootami, jak je sprawdzać i  blokować? W tym temacie raczej jestem zielona

 

Trzeba dodać regułę do pliku robots.txt najlepiej które konkretnie boty blokować.

[kikimora]

  W dniu 24.06.2016 o 10:20, Rychu napisał(a):

Dziękuję bardzo, podziałało

Trzeba dodać regułę do pliku robots.txt najlepiej które konkretnie boty blokować.

Rozwiń  

 

[Mion]

  W dniu 2.06.2016 o 10:23, kikimora napisał(a):

jak je sprawdzać i  blokować?

Rozwiń  

Sprawdzać po IP w serwisach typu: stopforumspam, których obsługą chwalisz się w innym wąttku.

  W dniu 24.06.2016 o 10:20, Rychu napisał(a):

Trzeba dodać regułę do pliku robots.txt najlepiej które konkretnie boty blokować.

Rozwiń  

Równie dobrze możesz dresiarzowi, który che ci wyklepać miskę by tego nie robił = przeważnie nieskuteczna "metoda".

Skuteczniejszą metoda niż robots.txt jest blokowanie IP w pliku .htaccess lub w obrębie całego serwera na firewallu. jeśli masz dedykowanego lub VPS

 

 

[kikimora]

Problem w tym, że najpierw takie IP trzeba znać   Usuwałam już kilka setek spamowych postów, każdy był z innego IP  

[Mion]

  W dniu 27.12.2016 o 14:58, kikimora napisał(a):

Problem w tym, że najpierw takie IP trzeba znać   

Rozwiń  

Trzeba nauczyć się je rozpoznawać... Tak bym, to zagadnienie ujął. 

[kikimora]

Masz świętą rację, w tym zakresie jeszcze wiele muszę się uczyć   A wolałabym czas spędzać na sympatyczniejszych zajęciach, niż ściganie i blokowanie spamerstwa  

[kayman]

przyzwyczaj się do tego, że różne boty to już standard, a blokowanie po ip to walka z wiatrakami

[Mion]

  W dniu 27.12.2016 o 17:24, kayman napisał(a):

a blokowanie po ip to walka z wiatrakami

Rozwiń  

Owszem IP można zmienić przez proxy, vpn ale jeśli niechciany zakładacz kont będzie korzystał z małej puli IP, to do czasy ich wymiany (IP) zakładanie kolejnych będzie niemożliwe.

Nie ma skutecznej metody na blokowanie zakładania "niechcianych" kont jednoczenie przyjaznej dla użytkowników.

 

[kayman]

  W dniu 28.12.2016 o 10:26, Mion napisał(a):

Nie ma skutecznej metody na blokowanie zakładania "niechcianych" kont jednoczenie przyjaznej dla użytkowników.

Rozwiń  

w tym co monitoruję wywalam 95% botów ale wymaga narzędzia lepszego niż formuły w  .htaccess, reszta wywala się na prostym tricku (którego to od pół roku nie zmieniałem) wiec śmiem twierdzić ze się da 99,9% ogarnąć automatycznie a co ciekawe w większości przez zwykłe lenistwo spamera/hacrera/frajera/etcera  

pozostały ułamek wymaga dopisania formuły blokującej czyli 1-3 razy w tygodniu w tym faktycznie mogą być ip/grupy ip