Problem z transferem

[graft]

Mam problem, od grudnia zaobserwowałem zwiększenie zużycia transferu. Mam konto na AZ, gdzie limit miesięczny to 16,6 GB, a dziś już mam wykorzystane 40% transferu

Czytałem posty na tym forum, zastosowałem:

a) ob_start('ob_gzhandler');

zmniejszyłem szybkość przemierzania stron w narzędziach dla webmasterów Googla

c) w .htaccess naskrobałem coś takiego:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "crawl" [OR]
RewriteCond %{HTTP_USER_AGENT} "Twiceler" [OR]
RewriteCond %{HTTP_USER_AGENT} "psbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "slurp" [OR]
RewriteCond %{HTTP_USER_AGENT} "jeeves"
RewriteRule .* - [F]

d) dodatkowo w headerze strony umieściłem:

if (eregi("teleport", $_SERVER["HTTP_USER_AGENT"])) {exit;}
if (eregi("ripper", $_SERVER["HTTP_USER_AGENT"])) {exit;}
if (eregi("offline", $_SERVER["HTTP_USER_AGENT"])) {exit;}
if (eregi("WebZIP", $_SERVER["HTTP_USER_AGENT"])) {exit;}
if (eregi("WebCopier", $_SERVER["HTTP_USER_AGENT"])) {exit;}
if (eregi("WebStripper", $_SERVER["HTTP_USER_AGENT"])) {exit;}  
if (eregi("deltaSCAN", $_SERVER["HTTP_USER_AGENT"])) {exit;} 
if (eregi("Slurp", $_SERVER["HTTP_USER_AGENT"])) {exit;}

Odczekałem dzień, włączam cPanel a zużycie transferu wzrosło o kolejne 6%.

Czy są jeszcze jakieś sposoby na transfer?

Czy prowadzenie statystyk przez Google Analytics przyczynia się do zużycia transferu?

I przy okazji, w jaki sposób mogę zobaczyć w Analytics jakie roboty odwiedzają stronę? Niedawno go zainstalowałem i nie mogę jeszcze ogarnąć.

Pozdrawiam

[xradar]

Zobacz w statystkach serwera (tych z logów) ktora strona zjada najwiecej transferu. Jakis czas temu na jednym serwerze tez mialem GB nabijane nie wiadomo skąd. Okazalo sie, ze jakiś wieśniacki skrypt księgi gości tyle nabijał, bo roboty na nim aż szalały

A w GA chyba nie ma robotów.

[Pawka]

1 czy nie masz qlweba czy innego precla do którego moga dłubać maszynki?

2 zrób analize, w cpanelu zawsze jest piękna statystyka, co ci tak wyjada transfer?

3 mam nadzeje że nie masz plików czy obrazków do pobraznia?

4 obstawiam bota yahoo i inne świństwa

5 zablokować wszsytko co można, szczególnie yahoo, w htaccess, wiele o tym pisano

6 zalkokowac wszystko w robot.txt

7 pamiętaj, że prawdziwe spamboty olewa te wszystkie robot.txt i htaccess.

ale takich botów wysyłają najczescie na qlweby.

Nie masz qlweba?

[Kaviorek]

no, htaccess trudno jest olewać

póki nie wiesz co zjada transfer to nic się nie poradzi, trzeba śledzić ruch na stronach na bieżąco...

[yavaho]

no, htaccess trudno jest olewać

W przypadku gdy bot grzecznie przed wejściem zawsze przedstawia się tak samo

Jeżeli wiesz z góry że w tym miesiącu nie starczy Ci transferu, to przerzuć przynajmniej grafike (lub inne pliki często pobierane) na inny serwer.

[graft]

To nie qlweb. To prywatna stronka mojego autorstwa dzialająca na zasadzie katalogu.

Proszę jeszcze o pomoc, bo albo oślepłem już od tego monitora albo nie mogę odczytać w statystykach jaki to bot zużywa tyle transferu.

W cPanelu mam w statystykach:

	* Webalizer Dla Stron WWW
* Webalizer Dla FTP
* Statystyki AwStats
* Statystyki Analog
* Ostatni Odwiedzający
* Transfer
* Zestawienie Błędów
* Plik Raw Log
* Zarządzanie Raw Log

Po wejściu w transfer mam tylko informację jaka domena i jaki trafik wygenerowany...

W "ostatni odwiedzający" znalazłem jedynie jakieś info, np.: Agent: Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp). Ale nie ma informacji jaki agent ile MB.

Raw Log - to nawet nie wiem co to jet

Jak mam odczytać te megabajty?

[maka]

gzip

[graft]

gzip

Czytałem posty na tym forum, zastosowałem:

a) ob_start('ob_gzhandler');

?

[graft]

Albo oślepłem albo nie widzę przycisku "Edytuj" (więc napiszę jedno pod drugim).

W htaccess mam obecnie:

#Lista niechcianych botow
SetEnvIfNoCase User-Agent "^nazwa_bota1" bad_bot
SetEnvIfNoCase User-Agent "^nazwa_bota2" bad_bot

<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

Czy jest możliwość zapisania tego tak, żeby podać tylko te boty (np googlebot), którym zezwalam na dostęp? Lista niechcianych botów jest dość pokaźna, a w logach ciągle coś nowego się znajduje.

[Kaviorek]

czy już wiesz co dokładnie 'zjada' transfer? czy dalej szukasz 'na oko' metod, które zmniejszą zużycie o całe 4%?

w cPanel masz dokładne statystyki zużycia transferu (nie Awstats), przeanalizuj je dokładnie, na tej podstawie będziesz wiedział co zablokować, wtedy rozważysz, czy w htaccess, czy robots, czy też z użyciem php...

[graft]

czy już wiesz co dokładnie 'zjada' transfer?

Si Senior, boty "zjadały" transfer. Slurp w szczególności.

Niepotrzebnie spanikowałem i zablokowałem na tydzień wszystkie boty w robots.txt. Z 24000 zaindeksowanych podstron w google, zrobiło się 10000