Łapacz!

[jestemradek]

Michał - Ty spać nie możesz??

[michal]

Ja mogę ale Ty nie możesz, u mnie jest 6 godzin wcześniej

[piotrek]

Wydaje mi się że Łapacz mógłby krozystać z sesji utworzonej przez dowolny inny skrypt. Funkcję należałoby wówczas umieścić po własnym session_start

w pliku lapacz_funkcja.php wystarczy zakomentować lub usunąć linijkę wywołującą sesje

// session_start();
$lapasz_ses_id = session_id();

nie próbowałem ale pewnie można zakomentować obie linijki i korzystać z Łapacza całkowicie bez sesji

[piotrek]

Właśnie podmieniłem Łapacza na lekko zmodernizowaną ale wciąż roboczą wersję. Do pobrania jest z tego samego miejsca co poprzednio

Aktualnie Łapacz:

- może badać wiele serwisów

- wyświetla listę badanych serwisów

- gromadzi do każdego badanego serwisu listę podstron

- może badać referer

- wyświetla listę refererów wg serwisów

- gromadzi do każdego z refererów liste podstron

- dzieli referer na same wyszukiwarki*, same katalogi* oraz zwykle strony

* czy ktoś pomoże w konfigurowaniu pliku do łapania wyszukiwarek i katalogów? Chodzi konkretnie o pomoc w skonfigurowaniu pliku: lapacz_analiza_referer.php (wstępnie wprowadziłem kilka pozycji więc skrypt powinien je ładnie rozpoznawać).

przykład google pl:

else if ($dr=="www.google.pl" || $dr=="ww.google.pl" || $dr=="w.google.pl" || $dr=="google.pl") {

$co_to_jest = 1;

if ($rr!="") {

$szukane = szukaj_slow("q=",$rr);

$slowa = $szukane;

}

}

przykład onet pl

else if ($dr=="szukaj.onet.pl") {

$co_to_jest = 1;

if ($rr!="") {

$szukane = szukaj_slow("qt=",$rr);

$szukane = zamien($szukane, "ISO-8859-2");

$slowa = $szukane;

}

}

przykład katalogu

else if ($dr=="katalog.interia.pl") {

$co_to_jest = 2;

}

c.d. Aktualnie Łapacz:

- pokazuje słowa kluczowe i frazy (to dzięki definicjom, które myslę będą się rozwijać)

- jak w poprzedniej wersji gromadzi listę User-Agentów (wraz z jezykami), numerów IP i hostów

- ma ustawione kodowanie UTF-8 więc nie ma polskich znaków w menu

Na razie zrezygnowałem z funkcji blokowania czegokolwiek Łapaczem

Plik lapacz.zip należy rozpakować do dowolnego katalogu na serwerze np. /lapacz jednego z badanych serwisów (ten serwer będzie bazą i tu będzie menu administracyjne). Zip zawiera 6 plików

- index.php (menu administracyjne)

- lapacz.sql (stkuktura tabel)

- lapacz.txt (kawałek kodu do umieszczenia w badanych serwisach)

- lapacz_analiza_referer.php (plik z regułami analiz referer o czym pisałem wyżej)

- lapacz_config.php (konfiguracja)

- lapacz_funkcje.php (plik z którego będą korzystać wszyskie badane serwisy)

Tabele z pliku: lapacz.sql

Łapacz aktualnie składa się z 11 tabel. W starszych bazach przed załadowaniem z pliku, należy usunąć konfliktowe zapisy o kodowaniu.

Konfiguracja lapacz_config.php

wymaga jedynie podania danych do serwera baz oraz ustawienia sobie loginu i hasła do menu administracyjnego swojego Łapacza.

lapacz.txt

Aby badać wiele własnych serwisów należy w kazdym z nich dodać poniższy kod. Zbiera on potrzebne dane i przekazuje w postaci GET do bazy, czyli tam gdzie Łapacz został umieszczony.

<?

session_start();

$ho = urlencode($_SERVER['HTTP_HOST']);

$ur = urlencode($_SERVER['REQUEST_URI']);

$re = urlencode($_SERVER['HTTP_REFERER']);

$ag = urlencode($_SERVER['HTTP_USER_AGENT']);

$ip = urlencode($_SERVER['REMOTE_ADDR']);

$la = urlencode($_SERVER['HTTP_ACCEPT_LANGUAGE']);

$se = session_id();

$adres_lapacza= 'https://twoj_serwer.pl/lapacz/lapacz_funkcje.php';

require(

$adres_lapacza

. (!empty($ho)?'?ho='.$ho:NULL)

. (!empty($ur)?'&ur='.$ur:NULL)

. (!empty($re)?'&re='.$re:NULL)

. (!empty($ag)?'&ag='.$ag:NULL)

. (!empty($ip)?'&ip='.$ip:NULL)

. (!empty($la)?'&la='.$la:NULL)

. (!empty($se)?'&se='.$se:NULL)

);

?>

w wolnych chwilach dłubę nad tym aby roboty same się rozpoznawały i innymi bajerami a póki co testujcie, nowa wersja nie jest kompatybilna ze starą, więc przed wrzuceniem nowej sugeruję usunięcie tabel i plików starej wersji

[malyem]

Czy nie macie problemow z msnbot'em? Zrobilem sobie podobny skrypt, ale msn nie chce dac sie zlapac za pomoca: $_SERVER['HTTP_USER_AGENT'].

[piotrek]

nie, w Łapaczu się dość ładnie zlicza ten User-Agent:

msnbot/1.0 (+https://search.msn.com/msnbot.htm) x 2643

msnbot/0.9 (+https://search.msn.com/msnbot.htm) x 272

[wojciechb]

Konfiguracja lapacz_config.php

wymaga jedynie podania danych do serwera baz oraz ustawienia sobie loginu i hasła do menu administracyjnego swojego Łapacza.

Cześć. Jestem tutaj nowy więc wybacz za może głópie pytanie. Mam problem z uzupełnieniem

tego pliku lapacz_config.php a szczególnie o co chodzi z danymi do serwera.

jakbyś mógł pokazać ten plik wypełniony jakimś fikcyjnymi danymi to byłbym wdzięczny.

Bo kręce się w kółko i nic mi nie wychodzi..... Pozdrawiam

[zebol]

Na razie zrezygnowałem z funkcji blokowania czegokolwiek Łapaczem

Funkcja była użyteczna - myślę że wprowadzisz ją z powrotem.

We wcześniejszej wersji bez problemów blokowałem bota: noxtrumbot/1.0 - który robi obecnie spustoszenie w serwisie a na robots.txt sie po prostu odlewa.

Obecna wersja jest jednak bezkonkurencyjna - wiele przydatnych informacji/funkcji. Testuje obecnie na 3-serwisach.

Dobra robota Piotrek!.

[piotrek]

wojciechb - dane które trzeba uzupełnić w pliku lapacz_config.php to dane do Twojego serwera baz MySql, wcześniej trzeba wgrać tabele znajdujące się w pliku lapacz.sql do bazy... zawsze warto korzystać z podręcznika tu i tu.

zebol - z tym blokowaniem jest delikatny problem, obecny kawałek inkludowanego kodu działa tylko jak przyglądanie się co dzieje się na badanej stronie. Nie robiłem testów i nie jestem pewien czy będzie potrafił wysyłać złe roboty w kosmos.

Docelowo blokada robotów i tak powinna znajdować się w pliku .htaccess, w kolejnej poprawce postaram się dodać możliwość zaznaczania robotów do blokowania i funkcję generowania dla nich gotowego kodu do wstawienia w swoim .htaccess

Pomimo że starałem się zoptymalizować operacje bazodanowe wciąż nie jestem zadowolony z efektów i myślę nad radykalną zmianą zasad działania skryptu.

[xradar]

CREATE TABLE `lapacz_agenci` (

`id` int( 11 ) NOT NULL AUTO_INCREMENT ,

`nazwa` varchar( 255 ) COLLATE utf8_unicode_ci NOT NULL default '',

`jezyk` varchar( 255 ) COLLATE utf8_unicode_ci NOT NULL default '',

`opis` varchar( 255 ) COLLATE utf8_unicode_ci NOT NULL default '',

`odslon` int( 11 ) NOT NULL default '0',

PRIMARY KEY ( `id` )

) ENGINE = MYISAM DEFAULT CHARSET = utf8 COLLATE = utf8_unicode_ci AUTO_INCREMENT =1;

MySQL zwrócił komunikat:

#1064 - You have an error in your SQL syntax. Check the manual that corresponds to your MySQL server version for the right syntax to use near 'collate utf8_unicode_ci NOT NULL default '',

`jezyk` varchar

MySQL 4.0.24 mam ustawiony na ISO

[zebol]

MySQL 4.0.24 mam ustawiony na ISO

To zmień na Kodowanie UTF8 - w każdym razie ja tak mam i śmiga.

[xradar]

To zmień na Kodowanie UTF8 - w każdym razie ja tak mam i śmiga.

Hmm no tak fajnie, ale zwalą mi sie dwie stronki które trzymam w tej bazie, bo są podawane jako ISO...

W ogóle, w przyszłych projektach zamierzam już rezygnować z ISO na rzecz UTF, ale to offtopic.

[Lubomir]

Mam problemy, nie rozpoznaje mi wszystkich znaków:

Mozilla%2F5.0+%28compatible%3B+Yahoo%21+Slurp%3B+http%3A%2F%2Fhelp.yahoo.com

%2Fhelp%2Fus%2Fysearch%2Fslurp%29

Czym to może być spowodowane?

Przy tworzeniu bazy SQL byłem zmuszony wyciąć fragmenty kodu: "collate utf8_unicode_ci" czy to mogło mieć wpływ?

Zgłaszany błąd SQL to: "#1064 - Something is wrong in your syntax obok 'collate utf8_unicode_ci NOT NULL default '',

`opis` varchar(2' w linii 3 "

[kruzyk]

Obsługa ogranicza się do tworzenia, z wygenerowanych automatycznie, odpowiednich wyrażeń regularnych[...]

A gdzie się dodaje te wyrażenia regularne ? :/

lapacz.txt

Aby badać wiele własnych serwisów należy w kazdym z nich dodać poniższy kod. Zbiera on potrzebne dane i przekazuje w postaci GET do bazy, czyli tam gdzie Łapacz został umieszczony.

<?

session_start(); 

$ho = urlencode($_SERVER['HTTP_HOST']);
$ur = urlencode($_SERVER['REQUEST_URI']);
$re = urlencode($_SERVER['HTTP_REFERER']);
$ag = urlencode($_SERVER['HTTP_USER_AGENT']);
$ip = urlencode($_SERVER['REMOTE_ADDR']);
$la = urlencode($_SERVER['HTTP_ACCEPT_LANGUAGE']);
$se = session_id(); 

$adres_lapacza= 'https://twoj_serwer.pl/lapacz/lapacz_funkcje.php';

require( 
$adres_lapacza
. (!empty($ho)?'?ho='.$ho:NULL) 
. (!empty($ur)?'&ur='.$ur:NULL) 
. (!empty($re)?'&re='.$re:NULL) 
. (!empty($ag)?'&ag='.$ag:NULL) 
. (!empty($ip)?'&ip='.$ip:NULL) 
. (!empty($la)?'&la='.$la:NULL) 
. (!empty($se)?'&se='.$se:NULL) 
);
?>

a co jeżeli chce sobie zainstalować w tej samej bazie danych ? jak pozmieniam nazwy tabel będzie OK ?

[piotrek]

trochę skróciłem cytat... przed nim jest zawarta uwaga na czerwono "12.01.2006: do pobrania jest nowa robocza wersja skryptu - instalacja i ustawienia opisane są w dalszej części wątku - zaczynają się tu"

stara wersja jest nieaktualna i nie jest już dostępna, docelowo nowa będzie miała za zadanie łapać i identyfikować roboty automatycznie, i nie będzie w niej żadnych wyrażeń regularnych... tak jak pisałem w pierwszym poście opis nowej wersji zaczyna się dokładnie tu