blokowanie robotów

[M0drzew]

Hey,

sprawdzając duplikację tekstów jednej z moich stron nagle odkryłem, że cały jeden serwis jest skopiowany (teksty) na wiele stron ero, wszystkie z domen .ru

 

Generalnie miałbym to gdzieś, ale... serwis ma dużo treści dla dzieci, a potem to kieruje na jakieś hardp 0r no. Zastanawiam się, czy zablokowanie wszystkiego z domen .ru w robots to pomoże? - serwisy nie mają naturalnego ruchu z tego kierunku. Jakieś inne rozwiązanie ?

[romek_rozen]

Hej, nie blokuj w robots bo to nic nie da. Jeżeli chcesz blokować to po stronie serwera. Jeżeli to serwer apache lub jemu podobne (np. lightspeed).

Spróbuj na początku .htaccess dodać to:

RewriteCond %{HTTP_REFERER} ^https?://[^/]+\.ru/? [NC]

Sprawdzić czy patent działa możesz po prostu poprzez CURL

curl --referer domena-tld-ru twoja-domena-do-ochrony

 

Zanim wykonasz taki krok warto sprawdzić po logach, bo być może ten bot zgłasza się jako normalny Google, wtedy musiałbyś szukać po IP tego bota.