Onet - dylematy.

[AdamD]

Witam,

Rzuciłem sobie leniwie okiem w statystyki, a tam ... kufa. W tym miesiącu na jednej ze stron (forum oparte o phpBB) pajaki onetu zeżarły mi 1,2GB transferu. 30% całego ruchu :?

Jest to pewien kłopot, bo przez to zacząłem zbliżać się niebezpiecznie do limitu transferu, z drugiej strony jednak mam w sobie jakiś taki wewnętrzny opór przed ukręceniem łba Onetowi.

Da się go jakoś w rozsądny sposób przychamować? Gdzie uderzyć? Na stronach onetu nie ma żadnej informacji z kim się kontaktować w tej sprawie.

A

[Erbit]

Wyczekaj... połknie to co ma i powinno byc lepiej (czyli powinien mniej odwiedzac).

Czy jestes pewien ze to onet ?

Projektujac witryne - trzeba brac pod uwage transfer.. zwieksz go!

Onet ma swoja pozycje w necie - lepiej go nie blokowac. Mozesz jednie zablokowac dostep do plikow tego forum, ktore nie sa istotne.

Zaraz Tobie podam opis co blokowac dla robotow w przypadku phpBB. Powiedz tylko, czy forum jest na domenie, subdomenie, folderze !?!? Nalepiej adres.

[edyta]

jesli to Twoje phpBB jest na subdomenie lub na domenie (nie w katalogu) to umiesc na root plik robots.txt z taką zawartością

User-agent: *

Disallow: /db

Disallow: /admin

Disallow: /posting.php

Disallow: /memberlist.php

Disallow: /search.php

Disallow: /groupcp.php

Disallow: /faq.php

Disallow: /profile.php

Disallow: /privmsg.php

Disallow: /viewonline.php

to pozwoli zablokowac dostep do katalogow i plikow ktorych robot nie musi czytac (np. profile.php). To blokuje wszystkie roboty, ktore czytaja robots.txt - miedzy innymi onet.

[AdamD]

Forum - subdomena, z punktu widzenia struktury ftp -> katalog. Mam dostęp do .htaccess.

Adres - a proszę bardzo: https://forum.glodne.pl

Co do transferu, to generalnie jak nie wyskoczy taki kwiatek jak ten cholerny onet, to forum zjada 50-60% limitu, więc jest chyba OK.

I na pewno onet, w statystykach wygląda to tak (trochę przeedytowane dla zwiększenia czytelności - dane od początku sierpnia):

19986[wywołań] 14221[plików] 668733[kB] 109[wizyt] spider1.szukaj.onet.pl

16571[wywołań] 11750[plików] 563553[kB] 132[wizyt] spider2.szukaj.onet.pl

- edyta -

Hmmm... a jeśli jest w katalogu, to należy w robots.txt umieścić wszędzie odpowienio

/forum/to-co-wrzuciłeś

tak?

[Erbit]

Adres - a proszę bardzo: https://forum.glodne.pl 

Hmmm... a jeśli jest w katalogu, to należy w robots.txt umieścić wszędzie odpowienio 

Masz na subdomenie, wiec wkladaj to co podalem na subdomene i jest OK (czyli tam gdzie masz index.php)

Nie chodzi o polozenie na serwerze, tylko o widocznosc z netu. Zauwaz ze do tego forum masz dosjce z 2 stron czyli z poziomu subdomeny (ten adres co podales) oraz z poziomu katalogu stony glownej (czyli 'https://glodne.pl/forum/') niemniej ni elinkujesz do katalogu tylko do subdomeny... czyli robot nie powinien wejsc poprzez katalog - bo nie ma takiego linku.

dodatkowo do strony glownej mozesz dolozyc robots.txt taki

User-agent: *

Disallow: /forum

by ze strony glownej nie chcial sie przebic do podkatalogu... ale to zadko sie zdarza.

Idąc dalej.. na Twoim miejscu poczytałbym dokladnie ten post https://www.forum.optymalizacja.com/ftopic3593.html przyklejony w tym dziale. Tam znajdziesz info jak zablokowac niechciane roboty (a tych tez mozesz sie spodziewac) tym bardziej, ze masz maly transfer na serwerze do wykorzystania.

Tu masz wzor blokowania w pliku .htaccess - sądze, ze dasz sobie radę.. https://www.forum.optymalizacja.com/ftopic8299.html

KB (moderator) za wyszukiwanie topikow bierze 2 zl. - Ja biore 10zl. - wiec lepiej sam szukaj i czytaj !

[AdamD]

E, jak blokować niechciane to ja wiem :] Natomiast kłopot miałem co zrobić ze chcianym, ale wyjątkowo żarłocznym No i o zwyczajach onetowych spiderów niestety na forum nic nie znalazłem ciekawego.

Dzięki za wszystko,

Pozdrawiam,

AdamD

[Erbit]

...niestety na forum nic nie znalazłem ciekawego...

Nie żartuj...

pozdrawiam.

[AdamD]

No, jak wyjmie się zdanie z kontekstu - to faktycznie brzmi to jak żart 8)