Program do zbierania adresów stron

[lipek92]

Witam! Znacie może jakiś program do zbierania wszystkich adresów podstron w danej domenie?

[Mar]

Zbiera to się grzyby w lesie?

Napisz konkretnie co chcesz zrobić.. może mape?

A może wystarczy polecenie: site:www.adres.pl?

Mar.

[lipek92]

Może być nawet mapa...

Potrzebuję spis adresów, które chciałbym po prostu spingować, żeby się zaindeksowały... Wykonanie tego ręcznie jest praktycznie niemożliwe (ponad 100 000 podstron)

[Mion]

Jak jest to twój serwer to piszesz prosty skrypt który pobiera dane i wyświetla je stonnicowo, a jak nie twój no to cóż Pozostaje:

- napisanie własnego robota;

- prasowanie strony z zapytania site:www.domena.pl;

- wykorzystanie oprogramowania do robienia google sitemaps;

No i dział zlecenia

[lipek92]

Jak na razie znalazłem GSiteCrawler i działa mało wiele. Co prawda nie wyłapuje podstron w 100% ale można nim wygenerować spis odnośników w różnych formatach (m.in xml i txt).

[SirZooro]

Xenu

[lipek92]

Dzięki o to mi chodziło. :-)