Transfer.. jak sobie poradzić??

[ccx]

Codziennie na moim forum przesiaduje pełno robotów google, zeżerając b. dużo transferu... jak mogę sobie z nimi poradzić? Jest możłiwość, aby np. mogły przychodzic tylko co tydzień? Albo coś podobnego?

Z góry dzięki.

[nrm]

i co jeszcze?

zamiawiam 2 x google w piatek po 18, raz msna w niedzielę o 20stej

szukaj po słowach:

- .htaccess - blokowanie botów

- mod_gzip - kompresowanie htmla

- expire - buforowanie grafiki

zablokuj wszystkie ciebie nieinteresujące boty.

[ccx]

Mam plik robots.txt, a w nim:

User-agent: *

Disallow: /_arch/

Disallow: /admin/

Disallow: /topics/*desc*

Disallow: gg.php

Disallow: groupcp.php

Disallow: isntall.php

Disallow: next_topic_*

Disallow: posting.php

Disallow: printview.php

Disallow: privmsg.php

Disallow: prev_topic_*

Disallow: report.php

Disallow: tellafriend.php

Disallow: topic_post_*



User-agent: msnbot 

Disallow: /

Czy to działa? I co mogę tu jeszcze dopisać?

[michal]

Niestety googlebot nie czyta argumentu crawl-delay w robots.txt, wiec w taki sposob nie mozna go ograniczyc (dziala to w msn). Wedlug porady google mozesz sie conajwyzej z nimi skontaktowac.

I co mogę tu jeszcze dopisać?

upewnij sie, ze googlebot nie dostaje sesji na Twojej stronie, bo jezeli sie zapetli w sesje to bedzie siedzial i siedzial.

A co mozesz dodac, to juz tylko Ty mozesz wiedziec.

[ccx]

A jak sprawdzic czy się nie zapletał? A pytając co dodać chodziło mi jakie wyszukiwarki mogę jeszcze wpisać w

User-agent:

Disallow: /

[michal]

A jak sprawdzic czy się nie zapletał?

Patrzac w logi.

A pytając co dodać chodziło mi jakie wyszukiwarki mogę jeszcze wpisać

To rowniez zalezy tylko od Ciebie. Ja np. chce zeby msn indeksowal wszystkie moje strony, a Ty widocznie nie. Kazdy ma swoje upodobania.

[ccx]

To w takim razie jak go ewentualnie odplętać?

[michal]

To w takim razie jak go ewentualnie odplętać?

Jezeli dostaje sesje to je dla niego usunac i wkoncu przestanie dostawac urle z sesjami, chociaz przez jakis czas bedzie i tak pobieral urle z sesjami, ale coraz rzadziej az w koncu przestanie.

[ccx]

Dzięki. Mam jeszcze jedno pytanie. Jesli google nie reaguje na robots.txt to jak moge ograniczyc aby nie wchodzil? Przez htaccess? Jakim kodem?

[ccx]

Co da kod:

RewriteCond %{HTTP_USER_AGENT} "crawl" [OR]

RewriteCond %{HTTP_USER_AGENT} "jeeves"

RewriteRule .* - [F]

w .htaccess? Bardzo proszę o odpowiedź.

[Stwor]

Wstaw link do mojej strony moge zabrać pare robotów jak chesz PW

[h27]

jak mogę sobie z nimi poradzić?

Na początku miesiąca miałem podobny problem, trwało to 5 dni, zżarło 50% transferu, G "przeleciał" ok. 90k stron i się uspokoił. Jeśli to nie jest sprawa sesji to warto poczekać, a w razie wyczerpania limitu transferu nawet dokupić na czas odwiedzin Google.

[michal]

Co da kod:

dokladnie to co bylo napisane tam gdzie ten kod znalazles, czyli zwroci odpowiedz serwera 403 Forbidden kazdemu kto ma user_agent pasuajcy do tego co podales. Watpie abys chcial to robic z googlebotem, bo wtedy Twoja strona zniknie z indeksu.

[Erbit]

ale dla msn tak zrobil... dziwne...

dawaj te roboty do nas.

[michal]

ale dla msn tak zrobil... dziwne...

no wlasnie, dziwne. :-k