Transfer.. jak sobie poradzić??

[ccx]

Już 4 dzień siedzą dranie. Przedstawiają się jako

crawl-66-249-65-9.googlebot.com

crawl-66-249-65-133.googlebot.com

crawl-66-249-65-238.googlebot.com

crawl-66-249-66-211.googlebot.com

I te 4 robaki zeżarły juz 6.5 GB! Niestety nie mogę sobie pozwolić na takie zużycie transferu... Nie chce też wyrzucać całkowicie googlebota, a tylko teraz te roboty przeprosić i zaprosić na później Może macie jakieś propozycję, co robić?

[michal]

Przedstawiają się jako

NIe, tak sie nie przestawiaja, tylko taka jest nazwa ich hosta.

Przedstawiaja sie prawdopodobnie jako mediaprtners. Wyglada mi to na robota Adsense.

[ccx]

Nie można odemnie wymagać profesjonalnego słownictwa. Mi się tak przedstawiają

Wyglada mi to na robota Adsense.

Tzn? Coś mi on da? I ponawiam pytanie, czy mogę je trochę przyblokować, żeby sobie już poszły gdzie indziej żerować?

[michal]

Nie można odemnie wymagać profesjonalnego słownictwa.

Nie chodzi o profesjonalne slownictow, tylko o to, zeby wiedziec jak sie przedstawiaja. Zobacz w logach jaki jest user agent tych robotow i wtedy zdecyduj.

Czy masz adsense na swojej stronie?

[ccx]

Czy masz adsense na swojej stronie?

Nie używam AdSense.

[michal]

Nie używam AdSense.

wiec to nie jest mediapartners, tylko normalny robot.

Polecam i tak przejrzec logi i zobaczyc jakie pobiera urle z Twojej strony, bo powodem moga byc sesje.

Mozesz podac adres strony, to sprawdze czy pokazuje sesje googlebotowi.

[ccx]

Logi.. Chyba chodzi o Googlebot/2.1; +https://www.google.com? Tak się przedstawia?

No ale nie o to mi chodzi. Wiem na stówe że Google buszuje.

Adres wyśle na PW.

[Stwor]

Weś przez roboty.txt zablokuj dwa zostaw drugie dwa albo jest jakaś funkcja do roboty.txt że możesz ustawić co ile ma roboty przychodzić, a jeśli sie nie myle taka funkcja jest chyba nawet możliwa w meta

[Wojciech]

Z phpbb jest taki ból, że kod strony jest ogromniasty - i jeśli robot ma wogóle odwiedzać stronę to niestety zasysa krowiaste tabele, osadzone skrypty i style. Ja bym zaczął od przeniesienia CSSów i JSów do osobnych plików (w phpbb o ile wiem standardowo jest to razem z HTMLem). Sęk tylko w tym, że jakiekolwiek grzebanie w kodzie phpbb jest baaaardzo nieprzyjemne.

- mod_gzip - kompresowanie htmla

- expire - buforowanie grafiki

Ciekawy jestem czy googlebot (i inne roboty) potrafią pobierać gzipem i sprawdzać datę modyfikacji pliku i nie pobierać jeśli mają aktualny... gdybym miał troszkę czasu to z całą pewnością bym sprawdził oczywiście zmniejszy to transfer, nie jestem tylko pewny czy ten wygenerowany przez boty.

[nrm]

potrafia, potrafia. wszystko gzipuje, grafike buforuje na bodajze tydzien (niezmienia sie przecież ), google regularnie co 2 dni zmienia date przy indeksie.

[ccx]

Weś przez roboty.txt zablokuj dwa zostaw drugie dwa albo jest jakaś funkcja do roboty.txt że możesz ustawić co ile ma roboty przychodzić

Jak je zablokować przez robots.txt? Bo ciągle siedzą...

[michal]

ccx

Odpisalem Ci na PW, ze majac dosyc duze forum, szczegolnie na phpbb, musisz sie liczyc z transferem. Tak samo jak Wojciech i normanos poradzilem Ci wlaczenie gzip.

Jezeli zablokujesz przez robots.txt to wylecisz z indeksu google.

[ccx]

ze majac dosyc duze forum, szczegolnie na phpbb, musisz sie liczyc z transferem.

I licze się z tym, to nie pierwsza wizyta googlebota, ale po raz pierwszy siedzą tak długo i tak dużo zeżerają transferu! Wcześniej było już nawet około 50 tyś podstron zaindeksowanych i tyle transferu, co teraz, nie pochłaniał...

Tak samo jak Wojciech i normanos poradzilem Ci wlaczenie gzip.

gzip jest od początku enabled.

Czyli jestem w kropce. Muszę dalej patrzeć jak pożerają mi transfer. Obawiam się tylko, że do końca miesiąca go nie wystarczy.

BTW. Jak duży transfer generuje to forum, miesięcznie? Jeśli to nie tajemnica

[michal]

Jak duży transfer generuje to forum, miesięcznie?

Ostatnio ponad 20 GB.

[EDDY]

User-agent: Googlebot 

Crawl-delay: 60

To powinno trochę pomóc.