szukam narzędzia do deduplikacji lini w pliku

[Eman]

W założeniach plik wejściowy może mieć rozmiar kilkaset MB

kodowanie UTF-8 i znaki mogą być w cyrylicy i łacince.

Potrzebuję usunąć duplikaty znalazłem coś takiego ale nie działa.

#!/usr/bin/perl
open (file, "<listadomen.txt");
while(<file>)
{ push @tab, $_; }
close(file);
@tab=grep !$x{$_}++,  tab; 

print  @tab;

Na perl'u nie znam się więc jak ktoś by podpowiedział gdzie jest błąd lub podał inny program.

Tylko program ma być wydajny.

Widziałem wydajny program ale był tylko do deduplikacji linii z adresami email (w linii musiał być znak @ )

a ja chcę żeby deduplikował wszystko.

[NieW]

sort plik|uniq