Robot onetu zżera mi transfer - jak przyblokować?

[jedrzejj]

Witam wszystkich! Dziś jestem tu pierwszy raz.

Widzę, że problem robota z onetu przewija się bezustannie ale nie znalazłem odpowiedzi na mój problem.

Mam forum internetowe, po którym bez przerwy lata robot onetu.

Chcę przyblokować tego gada, bo przez niego przekroczyłem w sierpniu limit transferu 0 3,6 GB, co kosztowało mnie 250 zł...

Nie mogę jednak znaleźć na to sposobu...

Wpisalem w meta tags noindex, nofollow, revisit after 10 days,

usunąlem z serwisu User Friendly URLs,

stworzylem plik robots.txt a w nim zakazalem jakimkolwiek robotom odwiedzin, ale...

TEN POTWÓR NA TO WCALE NIE REAGUJE!! Ja przez niego zbankrutuje...

Proszę o pomoc,

z góry dzięki,

Jędrzej

[nawigator]

Jesli forum jest na skrypcie phpBB, to dopisz w extension.inc

zaraz pod

***************************************************************************/

takie coś:

if(eregi("onet", $_SERVER['HTTP_USER_AGENT'])) die('Access denied');

i cześć.

[michal]

Witaj

To co dodałeś w meta zabroni indeksacji Twojego serwisu wszystkim robotom sieciowym, które to uwzględniają -> zły pomysł

to samo się tyczy robots.txt.

Jeżeli to jest forum na phpbb to przeczytaj ten wątek bo może właśnie sesje są u Ciebie problemem i się robot zapętlił.

Jeżeli chcesz się naprawdę pozbyć jakiegoś robota to ten wątek może Ci pomóc i poszukanie więcej informacji na temat htaccess na forum.

//edit

Fora ogólnie są dosyć transferochłonne.

[jedrzejj]

Wielkie dzieki!:) Naprawde

Zaraz to sprawdze!

Tak dokladnie mowiac to forum jest na skrypcie phpBB podpietym pod Mambo.

A jest moze w takim razie mozliwosc jedynie ograniczenia wizyt tego robota (a nie calkowitego zablokowania?

Pytam, bo oczywiscie chcialbym, zeby onet indexowal moje forum ale nie 3 razy na minute (co ma miejsce obecnie)...

Z góry dzięki za dalszą pomoc

[jedrzejj]

O! Widzę, że pojawiła się druga odpowiedź w międzyczasie.

Zaraz to sprawdze.

Wiem, ze to zly pomysl z meta i robots.txt ale jestem zdesperowany i probuje wszystkiego.

[EDDY]

Mnie zastanawia, gdzie 3,6 GB kosztuje 250 zł?

[jedrzejj]

Jeszcze pare pytanek zanim zabiorę się do zabawy, jeśli nie macie nic przeciwko...

To co dodałeś w meta zabroni indeksacji Twojego serwisu wszystkim robotom sieciowym, które to uwzględniają -> zły pomysł

to samo się tyczy robots.txt.

To dlaczego nie zabroniło robotowi onetu? Czy on to ignoruje?...

A teraz dokładny opis całej sytuacji:

Mam portal zrobiony w oparciu o Mambo. Jedną jego częścią jest forum zrobione na skrypcie phpBB (www.tim-online.nl).

Wszystko bylo dobrze przez 3 miesiace. Roboty wpadaly na chwilke i zmykaly. Bylem we wszystkich wyszukiwarkach. Transfer byl normalny.

Az tu nagle dostaje w sierpniu email o hostingowca, ze przekroczylem transfer o 3,6 GB czyli ze jest wyzszy niz w lipcu o... prawie 8 GB!!!!!!!!!!!!!!!!!!!

Wszystko "dzieki" robotom (albo raczej jednemu - onetowskiemu)....

Zaczalem z nim walczyc. Oto co zrobilem po kolei:

- zmienilem w meta z follow na nofollow - 0 reakcji (lata jak szalony),

- zmienilem w meta z index na noindex - j.w.,

- dodalem plik robots.txt i zabronilem jakiemukolwiek robotowi dostepu - j.w.

- zlikwidowalem SEF URLs (nie przez grzebanie w .htaccess ale odznaczajac taka opcje w mambo i:

- robot onetu przestal latac po calej stonie ale zaczal otwierac bezustannie strone glowna.... I wchodzi na nia 3 razy na minute...

Wiec gdzie on sie niby zapetlil?

Czy aktualne wobec mnie sa uwagi dotyczace sesji?

Jak myslicie, czy jak pogrzebie w pliku extension.inc to to bedzie mialo wplyw na robota? - skoro portal jest oparty przede wszystkim na Mambo?

Chcialbym aby sytuacja wrocila do normy, chce zeby wszystkie wyszukiwarki mnie indeksowaly, ale nie 100 razy na dzien...

Jesli macie jeszcze jakies pomysly to piszcie!!! Z gory dzieki

[jedrzejj]

Mnie zastanawia, gdzie 3,6 GB kosztuje 250 zł?

To duzo czy malo?

Ja nie mam zaplacic za dodatkowy transfer ale za, co gorsza, przejscie na wyzszy o 3 typ serwera... Ktorego wcale nie potrzebuje.

Jestem do tego zmuszony, bo to wynikaz z regulaminu swiadczenia uslug mojej firmy hostingowej... Nie martwilem sie tym wczesniej bo nie bylo praktycznie szans na przekroczenie limitu transferu... A tu nagle psikus

Mam (mialem) taki tani serwer na www.ibc.pl

Napiszcie czy 250 zl za 3,6 GB to duzo czy malo. Bo moze bede sie kłócił o swoje racje. Nie potrzebuje wiekszego transferu (o ile onet da mi życ)...

[michal]

Czy on to ignoruje?...

Nie wiem, nie znam robota onetu, ale skoro taki masz zapis to najwyraźniej tak.

Może podaj adres strony, to będzie łatwiej coś stwierdzić.

P.S. Nie znam się na Mambo.

P.S2. 1GB powinien kosztować $1-$2.

[jedrzejj]

[.....]

Nie smiejcie sie z tematyki serwisu Czego sie nie robi dla klienta

W tej chwili sytuacja jest taka:

- przywróciłem search engine friendly URLs,

- mam na serwerze plik robots.txt, ktory ma banowac wszystkie roboty,

- mam w kodzie źródłowym strony w meta noindex, nofollow,

a robot onetu nadal lata mi po calej stronie...

[michal]

Masz ~260 postów na całym forum, więc z taką ilością wątków nie wiem jak to jest możliwe, żeby robot zeżarł tyle transferu.

Jeżeli problemem jest jednak robot onetu to go zablokuj poprzez htaccess, tak jak w wątku który Ci podałem.

W tej chwili roboty *normalnych* wyszukiwarek się do Twojego serwisu nie dostaną bo są blokowane.

[jedrzejj]

[.........] - zajrzyj tu - oto co ze mna wyczynia ten gnojek...

I tak mam non-stop. Cala dobe...

[michal]

Otworzyłem Twoją stronę jako googlebot, bo nie znam UA onetu i widzę sesje. Wyciągam wniosek, że skoro googlebot widzi sesje to onet również.

Według mnie się zapętlił, więc odsyłam jeszcze raz do session killer. Nie wiem jak to zaimplementować na phpbb do mambo, ale napewno podobnie.

[jedrzejj]

OK. Jak na razie wielkie dzieki

Jak rozumiem mam dodac tylko ten kod session killer do pliku includes/sessions.php

a nie grzebać w .htaccess, czy tak? Bo ja w htaccess, dzieki mambo, mam zupelnie inne rewrite rules niz te podane w tamtym watku.

A moze masz jakąś radę co zrobić żeby choć chwilowo się pozbyć robota onetu - tak żeby mi nie łaził po stronach i nie generował transferu w trakcie jak nad tym wszystkim bede pracowal?

Na chwile zmienilem glowny katalog forum na serwerze z "forum" na "forumm" (wiec nie dalo sie stron otworzyc (i tak klient ma b. malo odwiedzin na tych stonach, wiec nic nie szkodzi)) - myslalem, ze w ten sposob sie pozbede robota.

Zmieniam ponownie na "forum" - i co? Robot znowu lata po calym forum

Za wszystko dzieki, odezwe sie jak mi sie uda to naprawic (albo mi sie nie uda...)...

[michal]

W pierwszej odpowiedzi podałem linki do 2 róznych wątków.

Jak chcesz go zablokwać to wpisz w htaccess.

RewriteCond %{HTTP_USER_AGENT} "onet"

RewriteRule .* - [F]

i powinno zadziałać, chyba, że bot onetu ma user agent, który nie zawiera słowa onet.