Jak sobie radzić z obciążaniem serwera przez roboty?

[Pasja]

Mam spory problem, roboty wyszukiwarek robią spory burdel na forum obciążając maksymalnie serwer jak tylko się da. Mimo iż mam cały dedykowany serwer 1GB Barthon 3000+ to roboty robią zbyt duże zamieszanie. Macie jakieś rady co z tym zrobić by nie wylecieć z wyszukiwarek? Szukam już jakiejś porządnej listy z IP robotów które wyciągają @ itp by je zbanować, może ktos już taką posiada?

[MMP]

Listy nie mam, ale na pewnej mojej stronie, ustawiłem by dla botów strona nie zawierała kodu html, oprocz h1,a,b. Ale nie ma tam table,tr,td,img itd...

Jeżeli strona jest skomplikowana to będzie mniej transferu

[Pasja]

Jeżeli strona jest skomplikowana to będzie mniej transferu

transferem sie nie przejmuje 200GB/miesiac nie jestem wstanie wyrobić i tak ale to obciąża bardzo mocno baze sql a ona daje

server load 10-20 (powyżej 20 to juz nic nie działa na serwerze)

gdzie norma powinna być 2

:neutral:

[nrm]

to juz chyba lepiej GZIPować html -> oszczędności do 70%!

a jak dalej dużo to wycinac wszystko poza swoim ulubionym zestawem botów (aczkolwiek u mnie google to 90% calego ruchu botów więc tez żadna oszczędność )

[nrm]

to juz chyba lepiej GZIPować html -> oszczędności do 70%!

a jak dalej dużo to wycinac wszystko poza swoim ulubionym zestawem botów (aczkolwiek u mnie google to 90% calego ruchu botów więc tez żadna oszczędność )

[EDDY]

Zrób limit jednoczesnego przebywania na forum dla jednego IP z UA "googlebot".

[MMP]

Chyba że tak,

Skoro chodzi o baze to polecam cache zapytań, i przerobić system zarządzania treśćią by generował jak najmniej wszystkiego co sie da

[Pasja]

Zrób limit jednoczesnego przebywania na forum dla jednego IP z UA "googlebot".

no właśnie zrobiłem limit jedno IP maksymalnie 3 połączenia naraz.

cache zapytań

wprowadzone od jakiś 2 tygodni

przerobić system zarządzania treśćią by generował jak najmniej wszystkiego co sie da

już wycinam co moge, nawet podpisy poszły w siną dal

[EDDY]

phpbb by przemo i wszystko jasne;)

[Pasja]

phpbb by przemo

tak + cachowanie + gzip + wyłączenie większości modów

problemem są roboty samo google to 80mb/transferu dziennie na html'u!

więc ile zapytań generuje ? :|