Duża ilość botów indeksujących na stronie

[ijoseph]

Czy to normalne? Zazwyczaj na naszej stronie było ich kilka, wczoraj wieczorem koło 23 było 11. Wiem że zazwyczaj boty są aktywne głównie w nocy ale dzisiaj rano było ich aż 8. Sklep internetowy ma 3 miesiące i około 2500 produktów

Screen poniżej:

[MaxPan]

a poco wam ahrefs na stronie? już dawno tzreba było to zablokować i bedzie już na 30% mniej

[mghost.pl]

Faktycznie czasami tych crawlerów jest więcej niż 1-2 w danym momencie. Jeden z naszych klientów mial sytuację, że na vpsie load rósł do 10, bo właśnie roboty go odwiedzały po tym, jak zapomniał opłacić domeny i przez ponad dobę był niewidoczny w sieci.

[ijoseph]

nie wiem po co nam ahrefs ja z nimi nie mam nic wspólnego

[bananasltd]

@po co - MaxPan mówi:już dawno tzreba było to zablokować i bedzie już na 30% mniej

zablokuj

[kikimora]

Też mam problem z bootami, jak je sprawdzać i  blokować? W tym temacie raczej jestem zielona

[Rychu]

Też mam problem z bootami, jak je sprawdzać i  blokować? W tym temacie raczej jestem zielona

 

Trzeba dodać regułę do pliku robots.txt najlepiej które konkretnie boty blokować.

[kikimora]

On 24.06.2016 at 0:20 PM, Rychu said:

Dziękuję bardzo, podziałało

Trzeba dodać regułę do pliku robots.txt najlepiej które konkretnie boty blokować.

 

[Mion]

On 2.06.2016 at 0:23 PM, kikimora said:

jak je sprawdzać i  blokować?

Sprawdzać po IP w serwisach typu: stopforumspam, których obsługą chwalisz się w innym wąttku.

On 24.06.2016 at 0:20 PM, Rychu said:

Trzeba dodać regułę do pliku robots.txt najlepiej które konkretnie boty blokować.

Równie dobrze możesz dresiarzowi, który che ci wyklepać miskę by tego nie robił = przeważnie nieskuteczna "metoda".

Skuteczniejszą metoda niż robots.txt jest blokowanie IP w pliku .htaccess lub w obrębie całego serwera na firewallu. jeśli masz dedykowanego lub VPS

 

 

[kikimora]

Problem w tym, że najpierw takie IP trzeba znać   Usuwałam już kilka setek spamowych postów, każdy był z innego IP  

[Mion]

2 hours ago, kikimora said:

Problem w tym, że najpierw takie IP trzeba znać   

Trzeba nauczyć się je rozpoznawać... Tak bym, to zagadnienie ujął. 

[kikimora]

Masz świętą rację, w tym zakresie jeszcze wiele muszę się uczyć   A wolałabym czas spędzać na sympatyczniejszych zajęciach, niż ściganie i blokowanie spamerstwa  

[kayman]

przyzwyczaj się do tego, że różne boty to już standard, a blokowanie po ip to walka z wiatrakami

[Mion]

16 hours ago, kayman said:

a blokowanie po ip to walka z wiatrakami

Owszem IP można zmienić przez proxy, vpn ale jeśli niechciany zakładacz kont będzie korzystał z małej puli IP, to do czasy ich wymiany (IP) zakładanie kolejnych będzie niemożliwe.

Nie ma skutecznej metody na blokowanie zakładania "niechcianych" kont jednoczenie przyjaznej dla użytkowników.

 

[kayman]

5 godzin temu, Mion napisał:

Nie ma skutecznej metody na blokowanie zakładania "niechcianych" kont jednoczenie przyjaznej dla użytkowników.

w tym co monitoruję wywalam 95% botów ale wymaga narzędzia lepszego niż formuły w  .htaccess, reszta wywala się na prostym tricku (którego to od pół roku nie zmieniałem) wiec śmiem twierdzić ze się da 99,9% ogarnąć automatycznie a co ciekawe w większości przez zwykłe lenistwo spamera/hacrera/frajera/etcera  

pozostały ułamek wymaga dopisania formuły blokującej czyli 1-3 razy w tygodniu w tym faktycznie mogą być ip/grupy ip