roboty

[pavlus007]

Witam.

Mam takie małe pytanko: Czy opłaca się zezwalać w robots.txt indeksację strony innym robotom niż googlebot? Czy ma to jakiś wpływ na pozycjonowanie?

[Filip_]

Ma to wpływ na pozycjonowanie w tej wyszukiwarce z jakiej jest bot. Jak dopuszczasz bota Binga to ma to wpływ na widoczność Twojej strony właśnie w tej szukajce.

[perplexus]

Dopóki dany crawler nie zżera zbyt dużo transferu(lub obciąża maszyny) nie warto go blokować.

[LuckySpamer]

Blokujcie tego (crawler) śmiecia. Dałem mu wolną ręke, i pozniej mailem z nim duze problemy.