[szukam] narzedzie do usuwania dublikatow domen z bardzo duzych list

[pandha]

jak w temacie, bede wdzieczny za odpowiedzi. chodzi o duze pliki, tak ze popularne narzedzia typu scrapebox wymiekaja (5gb+)

ps. bez mozliwosci pociecia na mniejsze pliki

dzieki

[Stanleyek]

Może Obróbka linków High-Tech która jest w pakiecie UltraSeoMaster by się nadała... Ale najlepiej spytać autora softa @Mion.

[Mroczo]

USM nie radzi sobie z aż tak dużymi listami próbowałem kilka dni temu wczytać listę 1,5 GB

[Danae]

Potwierdzam, że takie narzędzie by się przydało. Stanleyek chyba rozmawiamy o zdecydowanie różnych listach - spróbuj obrobić listę 10GB linków lub większe...

[Danae]

Podwójny post - pio zmuliło.

[Analityk Internetowy]

Możesz sprecyzować problem?

Rozumiem, że masz zharvestowaną listę adresów URL i chcesz odrzucić adresy z duplikujących się domen?

Przy czym, ważne, że to lista adresów URL, a nie domen.

[breja]

jak masz same domeny a nie URLe to wystarczy pod linuxem (jak uzywamy windy to virtualbox+linux+podmontowany folder z windy):

sort -u FILE > FILE

przy wiekszych plikach ja to najpierw dziele bo wychodzi szybciej na malych:

split -C 200MB FILE

a jak masz całe URLe to mam skrypt w perlu ale ja go odpalam co godzine na 250MB pliku

Wiele szukalem na ten temat bo mam 53GB archiwow gz i konsola linuxa to jedyne sensowne rozwiazanie a czasem potrzebuje poszukac jakichs konkretnych urli w swoich zbiorach Przykładowo Notepad++ ma zostawianie unikalnych ale juz przy kilkudziesieciu MB trwa to sporo (SSD+i5+12GB RAMU) gdzie przy linux+uniq sa to sekundy.

[piomoo]

a wgrać to do jakiejś bazy danych?

[gerdi]

U mnie Open Office Base, przy takich ilościach danych się wieszał - SSD + AMD 6 x 3,3GHz + 16GB RAM

[straseusz]

A czemu nie korzystacie z wtyczki scrapeboxa "dupremove" ?

Spokojnie odsiewa duplikaty urli/domen, max plik jaki ładowałem miał jakieś 5GB i nie było problemów(fakt troche to trwało ale ważne że poszło), konfig komputera jak u breja.