W czym najlepiej pisać spidera?

[sbvc]

Jak myślicie w jaki sposób należy napisać spidera, który indeksuje materiały z serwisów ala youtube.com, wrzuta.pl, live.com itd?

1) W php - odpalam na stronie, jednak jestem ograniczony czasowo (co jakiś czas przerywa wykonywanie skryptu). Według mnie pomysł do bani.

2) W delphi/c++/java itp. - odpalam na dysku, a program wysyła gotowe dane do mysql. Ograniczony jestem prędkością transmisji - w moim przypadku 512 kb/s.

Zakładana liczba potrzebna do uruchomiania strony to 1mln materiałów.

Jestem ciekaw waszej opinii jak Wy byście to zrobili. Jak myślicie ile zajmie indeksacja jeśli wszystko odpalę przez program?

[horacyleo]

php możesz odpalać z konsoli i ustawić czas wykonania na 0 czyli nieograniczony choć jeszcze zależy jak jest na serwerze skonfigurowany, zawsze możesz też co 1 minutę z crona odpalać

zależnie od hostingu ale programy w c/c++ czy servlety javy możesz odpalać na serwerze nie wspominając już o tym że najlepszy byłby własny dedyk gdzie konfiguracja zależy od Ciebie,

[sbvc]

To, że z crona mogę odpalić to ja wiem. Ja raczej skłaniam się ku metodzie c++ itp.

P.S. Chodzi o to aby mi nie przerywał połączenia, a materiały indeksowały się dość szybko.

[gielo]

W czym najlepiej pisać spidera?, Oczywiście nie mam na myśli spidera wyszukiwarki

Najlepiej napisać go w LOGO albo Atari BASIC

[horacyleo]

żółwik rządzi

A tak poważnie to oczywiści język typu c/c++ będzie znacznie szybszy chyba że można za pomocą zenda przyspieszyć php, niestety jednak napisanie w c/cpp jest dużo bardziej skomplikowane

[Michau]

Ja zawsze piszę takie rzeczy w Perlu. Pisanie w C++ nie ma żadnego sensu bo program i tak jest ograniczony szybkością łącza internetowego a nie wydajnością procesora, więc nic na szybkości się nie zyska. A Perl ma mnóstwo wbudowanych funkcji do parsowania tekstów, które się bardzo przydają przy indeksowaniu zawartości stron WWW.

[Maximus Marius]

Najlepiej pisać w tym jezyku który sie zna biegle

Nie widzę zadnych przeciwskazań co do PHP, wszak strona może sie automatycznie odświeżać.

Jak otworzysz w kilku zakładkach to robisz aplikację wielowątkową :)

Można też to zrobić bez odświeżania wszak jest SET TIME LIMIT = 0

[gielo]

Odnośnie szybkości działania to istnieje kompilator dla php pozwalający na skompilowanie kodu napisanego w tym języku do binarki ale niestety nie wiem jakie będą różnice kodu wynikowego skompilowanego programu w c++ i php kompilatorem. Sama kompilacja w c++ pewnie się będzie różnoić pod względem szybkoświ w zależności jakiego kompilatora uzyjemy (cc, gcc, borlanda czy jeszcze czegoś innego) oraz jakich flag uzyjemy podczas kompilacji.

Użyj tego co znasz najlepiej do pisania spidera, a zwróci się to tobie mniejszą ilością bugów w nim