Scrapowanie podstron

[golum]

Czego używacie do scrapowania adresów podstron w domenie.

W przypadku domen z mapą, to nie ma problemu - ScrapeBox.

Jak miałem mało stron to załatwiałem sprawę dodatkiem do Chrome Scrape Similar.

Teraz chcę wyciągnąć podstrony z bloga umieszczonego w katalogu (jakaśdomena.pl/jakiśkatalog/), który nie ma mapy, a rss wyświetla tylko kilkanaście ostatnich postów. Komenda sitemap: wyświetla kilkaset. Chciałbym zebrać je wszystkie, tylko nie na piechotę

[bielu]

A może site:xxxx.pl -view ***

w scrabboxie custom footoprint

[Stwor]

idealne narzędzie do scrapowania stron bez mapy:

https://www.auditmypc.com/free-sitemap-generator.asp

nie dziękuj

[golum]

Stwor

Też tak chciałem odpalić mapę i z mapy zgrać, też znalazłem ten generator, zapuściłem, mielił chyba ze dwie godziny i wypluł błąd, po czym przeładował stronę... i zabawa od początku.

Aplikacja ciekawa, tylko że w javie i przy moich dodatkach do przeglądarki, chyba nie wyrabia.

Spróbuję jeszcze raz... może na ie pójdzie

Wiem że nie miałem ale masz za chęć pomocy

Bielu

po fotprincie nie pójdzie, bo jest czysty, a w samej domenie jest kilkaset blogów w katalogach, więc scrapowanie wszystkich rozmija się z celem,

a ręcznie przez site: i -view *** przy odpaleniu scrape similar to za dużo roboty.

Edit: literówka

[Andddrew]

jak zwykle polecam Xenu, darmowy i bardzo szybki https://home.snafu.de/tilman/xenulink.html - lepszego do tego celu nie znajdziesz, no chyba że chcesz od razu zrobić mapę strony wtedy polecam płatny https://www.sitemapwriter.com

[golum]

jak zwykle polecam Xenu, darmowy i bardzo szybki https://home.snafu.de/tilman/xenulink.html - lepszego do tego celu nie znajdziesz...

Anddrew wielkie dzięki o to chodziło

Aplikacja wielowątkowa, 4 minuty pracy i wszystkie podstrony zebrane

I ma jeszcze jedną ciekawą funkcję

Można zbierać linki do stron, które pozycjonuje konkurencja

[cinmar]

https://wonderwebware.com/sitemap-generator/ - też w miare szybkie narzędzie z tym że bardziej rozbudowane od Xenu warte uwagi. Wady i zalety można ocenić po własnych testach.

[Andddrew]

Nie ma sprawy Właśnie w tym jego siła że działa szybko i robi to co trzeba.

@cinmar - tego nie znałem, dzięki - też wygląda fajnie, aczkolwiek do sitemap kupiłem https://www.sitemapwriter.com - można fajne sitemapy do obrazków generować - ładnie mi Google ją łyknęło - 2 strony o podobnej ilości zdjęc po 2 tygodniach, ta z sitemapą ma 500 fotek w indeksie, ta bez 130.

[tomex44]

No i Xenu można sprawdzać nie działające linki wychodzące.

[Grisham]

@Andddrew - wielkie dzięki za polecenie Xenu, naprawdę się sprawdza!

[danieltr]

Miałem założyć podobny temat, właśnie pobrałem Xenu i bingo - tego mi było trzeba