boty zaszalaly :D

[michal]

Mądrzejsi mawiają, że to wykrywacz cloakingu ...

ciekawe tylko, ze taki user-agent googlebot ma juz od wielu lat i zapewniam Ciebie ze nie jest to wykrywacz cloakingu. Zauwaz ze w pelnym UA jest slowo googlebot i on reaguje na robots.txt i mozesz go zablokowac lub robic co chcesz poprzez zwykle eregi() z googlebot.

nie przyblokujesz go w robots.txt,

bo nikt z

Mozilla/5.0  

nie odwiedzi twojej witryny

Przeczytaj prosze https://www.robotstxt.org/wc/robots.html i bedziesz wiedzial do czego sluzy robots.txt. To co napisales jest wprowadzaniem ludzi w blad, gdyz robots.txt nigdy nie zablokuje dostepu do strony

[BD]

To co napisales jest wprowadzaniem ludzi w blad, gdyz robots.txt nigdy nie zablokuje dostepu do strony

A moze kolega jest tajnym agentem z krainy szookowcow i jego misja jest sianie zamieszania... A moze zwyczajnie pomylil robots.txt z .htaccess

:roll:

[kruzyk]

dzieki michal i BD.

czyli rozumiem ze to jest "normalny" bot google indexujacy stronki?

czyli moge sie spodziewac ze mi podstrony zaindexuje ?

[michal]

kruzyk

tak