praca na dużych plikach txt

[D4NT3]

Witam

Ogólnie mam problem zebrałem bardzo duża listę z harvestowania około 1,5 GB, chciałbym ją teraz posegregować względem końcówek domen. .pl, .de itp itd. Czy jest możliwość wyciągnięcia z takiego pliku liniki adresów np tylko z końcówką de? pozdrawiam i dziękuje za pomoc

[INOMan]

Tak jest taka możliwość - możesz sobie albo ktoś tobie, napisać prosty program który przeanalizuje plik i wyciągnie z niego do innego pliku interesujące adresy.

[D4NT3]

o coś takiego właśnie mi chodzi niema jakiegoś darmowego programu ?? wydje mi się się że to dość prosta funkcja

[kayman]

potwierdzam -> to prosta funkcja, poczekaj 24 godziny może ktoś się zlituje i ci napisze jak to zrobić

[Seo tekst]

Do obróbki ciężkich plików polecam gscrapera

[lilavati]

1,5GB może tym nie da rady, ale do średnich list się nadaje:

<?php
/*
autor: lilavati[animal]list.pl
*/
set_time_limit(7200);
echo '<form method="post" name="linki"><br />Lista: <textarea name="linki"></textarea><br />Filtr: <input type="text" name="filtr"><br /><input type="submit" value="filtruj"></form><hr>';
if (!is_null($_POST['linki']) AND !is_null($_POST['filtr']))
{
$ciag = str_replace("\r\n","\n",$_POST['linki']);
$tablica = explode("\n",$ciag);
$koniec = count($tablica);
echo 'Wynik: <br /><textarea>';
for($i=0;$i<=$koniec;$i++)
{
if (strpos($tablica[$i],trim($_POST['filtr'])))
{
echo $tablica[$i]."\r\n";
}
}
echo '</textarea>';
}
?>

Wrzuć to na jakiś serwer albo odpal serwer na lokalnym komputerze (https://www.google.pl/#q=wamp https://www.google.pl/#q=xampp).

W dużym polu wklejasz listę linków, a w małym frazę, którą chcesz filtrować.

Dla PL: .pl/

dla DE: .de/ itd.

[Sebastian]

Z konsoli:

cat plik_wejściowy.txt | grep ".de" > plik_wyjściowy.txt

[lament]

W notepad++ zastosuj regexp i w przypadku gdy chcesz oddzielić tylko domeny .de przejdź do Replace --> w Find what wpisz .*?\.(?!de).*?\r\n --> replace with zostaw puste --> Replace All.

[straseusz]

Witam

Ogólnie mam problem zebrałem bardzo duża listę z harvestowania około 1,5 GB, chciałbym ją teraz posegregować względem końcówek domen. .pl, .de itp itd. Czy jest możliwość wyciągnięcia z takiego pliku liniki adresów np tylko z końcówką de? pozdrawiam i dziękuje za pomoc

Duża lista to >10GB a nie 1.5, bez przesadyzmu

Rozumiem że adresy kończą się na .de, .es itd. a nei na wpisie.

Wrzucasz skopiowane domeny w excela/openofficeCalc, dając podział po .(kropce), zrobi z domen 3 kolumny: jedna www, druga domena, trzecia zakończenie domeny. Sortujesz po ostatniej kolumnie, kopiujesz, sklejasz spowrotem w adres(. zamiast tab) i tyle.

Jeśli się kończą na adresie url to też się da, ale nie chce mi się produkować - notepad++ najlepszy przyjaciel każego

[Sebastian]

Przy 1,5 GB pliku ma na pewno więcej adresów niż limit wierszy w arkuszu kalkulacyjnym.