Roboty zżerają mi transfer

[mirekg]

Roboty zżerają mi transfer.

Wczoraj jedna z moich stron odwiedziły 30 tys. razy.

Etycznym indeksowaniem bym tego nie nazwal.

W miesiac zeżrały mi roczny limit transferu.

Jak mogę sie przed tym obronić?

Oczywiście muszę być dalej widoczny w indeksach...

MG

[wedrowiec]

Korzystasz z webmaster tools? można tam ograniczyć dostęp.

[gizmoo3]

moze najpierw sprawdz jakie to roboty.

jestem pewien ze 3/4 z nich mozesz smiało wyciąć.

są rózne dziwne szukarki i 'urządzenia' które z pewnością nic Ci nie dają a roboty zrą transfer

[marlonk]

a jakie to sa te niepotrzebne roboty i jak je ograniczyc albo zakazac wstepu?

[wedrowiec]

a jakie to sa te niepotrzebne roboty i jak je ograniczyc albo zakazac wstepu?

wszystko poza googlem ))

a bardziej serio to wszystko poza google (90% ruchu) onetu (5%ruchu) msn i yahoo (bo jakoś tak;) ).

Z drugiej strony te wszystkie pozostałe śmieci generują jakieś linki na swoich stronach więc trzeba ocenić po prostu co się bardziej opłaca.

[gizmoo3]

no jeszcze mozna pomyslec o zostawieniu wp, netsprintu, poszukajcie, było juz na forum i o robotach i o tym jak je przyciac

[Kyo]

User-agent: Slurp

Disallow: /

[mirekg]

a jakie to sa te niepotrzebne roboty i jak je ograniczyc albo zakazac wstepu?

wszystko poza googlem ))

a bardziej serio to wszystko poza google (90% ruchu) onetu (5%ruchu) msn i yahoo (bo jakoś tak;) ).

Z drugiej strony te wszystkie pozostałe śmieci generują jakieś linki na swoich stronach więc trzeba ocenić po prostu co się bardziej opłaca.

W moim przypadku wiekszosc to niestety Google i Onet.

MG

[Pawka]

KYO, wiekszość tych botów olewa robots.txt

[Kaviorek]

@mirekg, jeżeli to Google albo Onet to musisz mieć strukturę serwisu niezbyt dobrze wykonaną, np. kilka, kilkanaście URL dla tej samej treści sesje, itp.

[Kyo]

@pawka

Akurat ta blokada działa na slurpa i widze to po oszczedzony 10GB kazdego miesiaca

[Arkadiusz]

W dziale narzędzia gdzies jest skrypt PHP razem z lista robotow do blokady.

A zeby ograniczyc szalenstwo google, mozesz sprobowac w google maps ustawic szybkosc indexowania na 'wolne'.

[Pawka]

Kyo, sie zgadzam, slurp to najgorszy potwor.

[Kyo]

No szczegolnie jak linki po kilkunastu klikach sie zagniezdzaja. Googlebot sobie poradzil a slurp chodzil bez konca.

[MOUKETTA]

robots.txt to gó**o - only .htaccess

u mnie ostatnio boty zaczęły pożerać dziennie po 10gb, także wyciąłem parę botów, ale największym problemem jest rozróżnienie "bad bota", od prawdziwego wiernego usera, który odwiedza nas dziennie po kilka razy - mam takich

najlepszym wyjsciem, jest ograniczony page view podczas 1 sesji do np. 100 (poza googlebotem), ktoś dysponuje takim skryptem?