jak zrobić robota?

[Daniel Kędzierski]

Takich to jest multum. Choćby w celu miskowania ich wyników z wyniami innych wyszukiwarek.

[supernetmarket.pl]

to chyba mam pomysła:)

tylko dajcie jakiś link do takiego robota

[sbvc]

to chyba mam pomysła:)

tylko dajcie jakiś link do takiego robota

Jak już słyszę, że masz kolejny "pomysł" to śmiać mi się chce (bez obrazy).

[supernetmarket.pl]

to chyba mam pomysła:)

tylko dajcie jakiś link do takiego robota

Jak już słyszę, że masz kolejny "pomysł" to śmiać mi się chce (bez obrazy).

nie obrażam się, z tego żyje po prostu

a możecie sie śmiać do woli:)

nie mylcie pomysłów z projektem

[Mion]

Tylko po co zabierać się za implementację robota jak ma się mgliste pojęcie o programowaniu w innych językach niż PHP i do tego PHP tylko w kontekście stron internetowych. Zwłaszcza odradzam zabieranie się za to osobą o stanie wiedzy z przedmiotowego zakresu odzwierciedlonym w zacytowanym fragmencie: "php znam, więc może ktoś by mnie poinstruował na jakiej zasadzie mozna zrobić takiego robota"

Nawet jak już ktoś ma odpowiednią wiedzę to i tak mija się to z celem, bo można to porównać do budowy bolidu F1 w garażu na podwórzu. Dodam, że mam na myśli pisanie robota w celu późniejsze implementacji wyszukiwarki stron.

IMHO żywym przykładem jest dla mnie serwis-wyszukiwarki typu gooru.pl który praktycznie się nie liczy na rynku wyszukiwarek i z całą pewnością nie był stworzony w garażu. Ale tak jak zaznaczyłem jest to moja własna opinia na temat tej wyszukiwarki.

[MMP]

A tam Mion. Każdy język jest dobry, jak się poprawnie zaimplementuje. Pierwszy projekt można wykonać w języku który się zna najlepiej, a potem przepisać na bardziej optymalny.

[Mion]

Projekt tylko czego? Systemu newsów to owszem, ale nie wydajnego wielowątkowego robota sieciowego

[MMP]

Mion projekt jednowątkowego robota sieciowego, który potem zamieni się w wielowątkowy.

Stworzenie optymalnego bota, a raczej struktury bazodanowej pod niego nie jest niestety takie łatwe. Jest wiele kombinacji i wypadało by przetestować tą najlepszą, a testy najlepiej przeprowadzić w języku który znamy

[Mion]

Zresztą PHP też się do tego nadaje, bo ma odpowiednie funkcje do obsługi żądań HTTP metodą GET, ale skrypty uruchamiane konsolowo jako CLI a nie w przeglądarce w stylu kliknij w link i uruchom robota

[MMP]

No wiadomo chyba że jak robot, to tylko spod konsoli

Przez WWW można zrobić statystyki i mechanizm analizy i obróbki tego co znajdzie bot.

Zresztą najtrudniejszą kwestią jest budowa bazy danych. Jak przechowywać kopie stron, indeksy, jak manipulować wynikami.

[Mion]

No wiadomo chyba że jak robot, to tylko spod konsoli

Zapewniam Cię, że nie wszystkim z tego topicku

No właśnie już wkraczasz w sferę odpowiednich stricte dedykowanych systemów bazodanowych pod takie serwisy. Zresztą sam kiedyś się w to Bawiłeś wiec wiesz jak wygląda to od strony bazy danych możesz powiedzieć innym zainteresowanym jakie mają szanse na zbudowanie wyszukiwarki na koncie resellera z MySQL. Nawet na dedykach opartych o LAMP'ie.

[MMP]

Hehe

Zbudowanie robota, wyszukiwarki na jednym serwerze dedykowanym jest możliwe, ale musimy przyjąć pewne smutne ograniczenia. Nie mamy dostępu do takich zasobów jak Yahoo, Live, Google więc musimy się zadowolić indeksacją strony głównej( ew. podstronami pierwszego poziomu ). Dalej nie jesteśmy wstanie wejść, bo po prostu dysk nam się zapcha.

Graff swego czasu wspominał że najlepszą metodą jest trójpodział. Podział na robota, analizatora i na wyszukiwarkę. Również uważam że lepszego sposobu nie ma, i chyba giganci tej branży uważają tak samo

Robot musi zbierać tylko zawartość strony, więc musi mieć szybki dostęp do spisu stron do odwiedzenia. Najszybszy dostęp jest do ramu, więc będzie go używać do większości danych, ale tymczasowych. Wybieramy pusty klucz w ramie i uzupełniamy go o strony do odwiedzenia. Najlepiej by każdy robot korzystał z innego klucza. Po przejrzeniu wszystkich wartości z klucza, przeskakujemy na inny klucz(skąd wziąć wartości w kluczach napiszę niżej). A wcześniej użyty czyścimy. Możemy tutaj zastosować typ MEMORY bazy danych MySQL, ale lepszym wg. mnie rozwiązaniem jest zastosowanie shmop do zarządzania ramem. Robot może zapisywać dane do plików, ramu. Znowu najlepszym wyjściem będzie ram(min. 1gb ramu).

Odwiedzona strona może już zostać zapisana normalnie w pliku, bazie danych. Będzie potrzebna jedynie analizatorowi.

Analizator pobiera zawartość strony z ramu i ją obrabia. Jak, to już osobna kwestia każdego programisty. Końcowym zadaniem analizatora jest pobranie linków z owej strony, i ustawienie jej w kolejce do indeksacji - właśnie tutaj następuje zapis do ramu odpowiedniej wartości. By zwolnić ram, analizator oczywiście usuwa analizowaną strone - niestety nie mamy zasobów by je trzymać jako kesz.

Wyszukiwarka, to już efekt końcowy wyświetla wyniki które zostały zapisane w bazie przez analizatora pod postacią Słowo - Strona - Punkty i tak tworzy ranking.

Jest to możliwe, ale stworzenie optymalnej wyszukiwarki pochłonie dużo czasu na samo zaplanowanie mechaniki komunikacji pomiędzy tymi trzema procesami. Całość trzeba zsynchronizować, tak by dane się nie popsuły.

[Mion]

Wiec jak mam obrazowo przedstawił MMP skala zagadnienia bynajmniej nie jest trywialna. Ale nawet jeśli już komuś się uda implementacja wyszukiwarki to można zadać fundamentalne pytanie co uzyska ? Będzie to namiastka kartingu w świecie F1, jedynie site stworzony dla własnej satysfakcji bez większego praktycznego zastosowania - c'est la vie

Jak mniemam Kolega Szook coś więcej może powiedzieć na ten temat -> Szook.PL Wyszukiwarka internetowa, bo nie udało mu się zaszokować rynku wyszukiwarek...

[MMP]

Będzie to namiastka kartingu w świecie F1, jedynie site stworzony dla własnej satysfakcji bez większego praktycznego zastosowania - c'est la vie smile.gif

Graff, Piotrek, Szook stworzyli, i chyba coś z tego mają

Jest jeszcze pewne luka na rynku wyszukiwarek którą można zaatakować, ale o niej będę mówił podczas prezentacji Zicherki na Spodku 2.0. Więc przed prezentacją nie mogę o niej wiele powiedzieć. Ci bardziej domyślni się domyślą o co mi chodzi

[Mion]

... Szook stworzyli, i chyba coś z tego mają

Mają, mają :

Permission denied in /home/szook/public_html/cache.inc.php on line 56