Program do dzielenia plików txt na linijki

[tomek_25]

Witam

mam plik txt zawierający 300k komentarzy do Scrapeboxa.Zajmuje on 150mb.

Chce go podzielić na 10 części jednaaaaaak mam problem zasadniczy:

DupRemove (funkcja dzielenia) po wrzuceniu takiego pliku najzwyczajniej w świecie...zawiesza się.

Nie jest w stanie tego ogarnąć.Macie jakieś inne lepsze pomysły jak podzielić taki plik TXT?

Pozdrawiam

PS Total Commander mnie nie interesuje.

[Veal]

Np. Split.

[tomek_25]

Dzięki

A może coś na winde? może być nawet okienkowe tak jak kolega tutaj podesłał.

Pozdro

[Veal]

https://www.freewaregenius.com/2009/07/30/h...-of-lines-rows/

[tomek_25]

G Split używałem-program dzieli mi to na pliki gsc . Po otworzeniu mam krzaczki i NULL

Szukam alternatywy dla dupremove która się nie wiesza .

Pozdro.

[Paweł Sokołowski - Eline]

https://textwedge.sourceforge.net/

[cbdss]

Najlepszym wyjęsciem będzie napisanie samemu takiego programu Nie będziesz miał kłopotów z obsługą, nie będziesz musiał się uczyć programu, a i będzie śmigał tak jak chcesz. Jeśli to mają być tylko linie, to w javie taki program zajmie Tobie około 15 linijek kodu.

-> czytasz plik

-> otwierasz pętle

-> czytasz nextLine

-> zapisujesz do stringa

-> string dodajesz do uwtorzonego pliku txt

-> zwiekszasz zmienna o 1 - wrzucasz warunek, ze po osiagnieciu jakiejs wartosci ma wrzucac do nastepnego pliku txt (np. zmienna%30000=0 zrobi 10 części)

-> zamykasz pętle

Po odpaleniu przeciętny komputer 300k linijek powinien w ten sposób przerobić w parę minut, zapewne 5 minut to maks. Może nawet w ramach nauki napisze takie coś dzisiaj wieczorem albo w weekend, jak do tego czasu nic nie znajdziesz, to Tobie podeślę

[tomek_25]

@up Paweł Sokołowski dał mi tutaj już telefonicznie pewne rozwiązanie które będzie wymagać ode mnie troszkę więcej pracy ale też działa.

Jeśli chciałoby ci się skrobnąć tego typu programik to byłbym bardzo wdzięczny jak coś to wal do mnie na PM.

Pozdrawiam Tomek

[NieW]

Pobierz CoreUtils for Windows i bedzierz miał "normalnego" splita

https://gnuwin32.sourceforge.net/downlinks/...ils-bin-zip.php (jak trzeba to dodatkowo https://gnuwin32.sourceforge.net/downlinks/...ls-dep-zip.php)

c:\coreutils-5.3.0-bin\bin\split -b 15M C:\plik

[Paweł Sokołowski - Eline]

szukamy splita na ilosc linii (jak wedge), ale takiego co sie nie wywali na pliku 150mb (jak wedge)

[NieW]

szukamy splita na ilosc linii (jak wedge), ale takiego co sie nie wywali na pliku 150mb (jak wedge)

-l, --lines=NUMBER put NUMBER lines per output file

[Paweł Sokołowski - Eline]

c:\coreutils-5.3.0-bin\bin\split -l 20.000 C:\plik.txt

[zgred]

total commander

[NieW]

c:\coreutils-5.3.0-bin\bin\split -l 20.000 C:\plik.txt

Jesli to pytanie do mnie to "prawie" tak (bez kropki w iliści linii, czyli po prostu -l 20000)

[Veal]

total commander

Napisał przecież:

PS Total Commander mnie nie interesuje.