referer strony

[jamesisko]

Witam,

kurde, z racji tego ze masa osob pisze na PM, czesc na gg i maila z prosba o udostepnienie kodu takiego jak:

www.pracapraca.com.pl/referer.php

postanowilem wiec go napisac. Na swoje potrzeby mam to zrobione w oparciu o pliki, sql'a i tzw. centrum dowodzenia, gdzie na jednym serwerze zarzadzam tym wszystkim spod jednej domeny (strony).

Dla potrzeb Waszych postanowilme to przerobic i zrobic w ten sposob, by kazdy mogl sobie to zainstalowac na stronie.

Kod nie bedzie obciazal bazy danych - bo bedzie na plikach napisany. Bedzie trzeba utworzyc jeden katalog z chmodem 777 - tutaj kazdy sobie go nazwie wg potrzeb - tak by jakos to bezpieczenstwo zwiekszyc.

Dane beda zapisywane do pliku i zniego pobierane i wyswietlane.

Kiedy to napisze? Jak tylko czas pozwoli - powoli zaczne go montowac. Dla osob ktore potrafia zapisywac z kodowaniem UTF-8 kod bedzie dostepny na stronie i bedzie w formie jednego pliku. Dla tych co nie bardzo wiedza o co chodzi, bedzie do pobrania .rar, gdzie bedzie juz plik jeden z kodowaniem uft-8, drugi plik z danymi konfiguracyjnymi (chodzi o nazwe katalogu z danymi), gdzie taka nazwe katalogu bedzie mozna wpisac, bez edycji pliku glownego.

Kod zaczne pisac juz nieglugo.. moze dzis zaczne - nie jest przy tym wiele roboty - i moze niedlugo sie to ukaze.

Niemniej jednak juz teraz prosze o jakies sugesie i opinie o tym co juz mam dla siebie zrobionego. Cos moze dodac, cos moze jest niepotrzebne?

Ewentualne pytania - tylko w tym watku bede odpowiadal i prosze juz mi nie pisac na PM, GG, czy tez maila

Pozdr.

[piotrek]

prosze o jakies sugesie i opinie

musisz pamiętać o jakiejś magicznej optymalizacji bo system referujący potrafi gromadzić tysiące a nawet dziesiątki tysięcy rekordów. Kończę poprawki do Łapacza i cały system referujący już mam dopracowany ale nie udostępniam jeszcze skryptu, bo przy sporej ilości danych nie da sie ich po prostu przeglądać

[jamesisko]

Humm, tzn. ty wyodrebniasz wejscia patrzac na agenta przegladarki.

Moj kod nie zbiera botkow, ani osob ktore wejda na strone bezposrednio - jak samam nazwa mowi - jest to referer czyli zbiera wejscia z innych stron.

zalozmy ze masz no te 10 tys wejsc dziennie - mysle ze to nie problem zapisac te dane do pliku i pozniej z pliku pobrac i wyswietlic...,

moja wersja chodzi wylacznie na plikach- wydajnosc potwierdzona przy okazji chwytania botow - do 28 tys botkow na dobe bez problemu da sie to pozniej wyswietlic

Zreszta, to co mam u siebie - to dziala na zasadzie zapisu do pliku i recznie sobie przed sprawdzeniem aktualizuje, czyli z pliku do sql'a dane leca. Tutaj powinno .. teoretycznie .. chodzic bez problemu.

[EDDY]

Te 28k pomnóż razy dwa conajmniej, bo bardzo często adresy referujące są długie.

Przy okazji, te 28k botów ile zajmuje bajtów?

[vioka]

ja mam pytanie czy skrypt który nam udostepnisz będzie miał wszystko tak rozbudowane jak na tej stronie? https://www.kmd07.pl/roboty.php ( było by rewelacyjnie)

czy bedzie po prostu taki jak dawniej (bez logowania do opcji admina i innych bajerów) z dołożona funkcją referela

[piotrek]

jamesisko - chyba nie bardzo zrozumiałeś o co mi chodzi. Po co komu system refererów jeśli nie będzie mógł dowolnie analizować zebranych danych, co komu przyjdzie z tego, że sobie oglądnie plik z dziś, z wczoraj czy nawet z przed tygodnia? Dlaczego pisałem o optymalizacji - chodzi o to aby z olbrzymiej ilości danych wyłuskać w mgnieniu oka te interesujące (np. staty z dziś w procentowym porównaniu do statów z poprzedniego czwartku czy staty z tego miesiąca w porównaniu ze statami do dowolnego innego) i ubrać je np. w przyjazny wykres.

edit: chyba ze załadasz że Twój skrypt ma być listą refererów, umieszczaną na własnych stronach, otwartą, dostępną dla każdego internauty i robota - jesli o to Ci chdzi to ok, tylko po co wówczas pytasz o sugestie i opinie skoro to dość prosty skrypt do napisania.

ale nic, życze powodzenia a tymczasem poprawiam sobie swój skrypt... nowa (wciąż jednak robocza) wersja Łapacza (zbierająca referery oraz słowa kluczowe) jest już dostępna. Opis i zaproszenie do testów znajduje się tu...

[jamesisko]

Humm, panie piter to mam w planie do zrobienia - niestety czasu nie da sie rozciagnac.

Mialem w planie udostepnic juz ostateczna wersje - wlasnie ze statami, ale masa ludzi pisze ze chcialo by miec cos takiego jak teraz jest na chodzie, taka wersja tymczasowa,.. robocz. Updaty beda z czasem. W ogole polacze.. juz kod pisze pomalu, to razem z roboty.php. Jednak tak przewidywany termin zakonczenia to .. heh koncowka roku 2006? Po prostu nie potrafie powiedziec kiedy to zostanie ukonczone, a taki prosty skrypcik, z tego co mi ludzie pisza, bedzie i w tej formie przydatny.

Druga sprawa staty.. tutaj sql by sie przydal - ta wersja bedzie najprostsza wersja kodu.

Nie zmuszam do wrzucania na swoja strone - macie duzo bardzo wizyt - nie instalujcie.

Roboty, ten kod - juz u siebie mam w nowej wersji, ale by to przerobic tak by udostepnic to jest masa pracy, ale napisze kiedys caly skrypcik ktory bedzie i roboty i referer odlawial i w miare optymalnie to obrabial by wyswietlic dane - nie podaje jednak terminu. Pisze ten kod w wolnych chwilach.