[Szukam narzędzia] Usuń z listy duplikaty domen, ale zatrzymaj X urli z każdej z nich

[qlwik]

Cześć, szukam narzędzia które usunie z listy duplikaty domen, ale zachowa X urli dla każdej domeny, czyli np. dla x = 3 usuwa z listy wszystkie urle z danej domeny, oprósz 3 z nich.

 

Wiem, że gscraper miał coś takiego (zakładka split i Hold duplicate domains max to) i nawet miałem go kupionego, ale to było z 50 lat temu i nie mogę znaleźć licki, a na nulled akurat ta funkcja nie działa (a nowej licki nie można kupić bo właściciel zapadł się pod ziemię).

 

Ktoś wie, czy jakieś narzędzie to oferuje?

[Mion]

Jeśli nie ma gotowego "narzędzia" okienkowego , to taką funkcjonalność można napisać jako relatywnie prosty skrypt PHP online lub CLI.
 

[okazwłoka]

@qlwik

W seoprzyborniku coś takiego znajdziesz, tylko muszę szybko sprawdzić czy ta wersja jest wrzucona na publikę.

Tak to wygląda:

[qlwik]

@okazwłoka dzięki za info, ale podejrzewam, że narzędzie raczej nie obsłuży np. listy 3m urli?

[okazwłoka]

Ilość URL będzie ograniczona przez serwer na który jest wrzucony seoprzybornik i system z przeglądarką (kopiujesz i wklejasz dane). Przed momentem sprawdziłem listę 1m i muli. Przy takich ilościach raczej trzeba sięgnąć po zoptymalizowane do dużych list rozwiązania.

[qlwik]

Wrzuciłem listę 43k i na windowsie zamuliło "na amen", a na PHP nie zwraca wyniku, szkoda

[Mion]

1 godzinę temu, okazwłoka napisał:

Przy takich ilościach raczej trzeba sięgnąć po zoptymalizowane do dużych list rozwiązania.

Zamiast wysyłać jako POST z przeglądarki i texarea trzeba zrobić jako upload pliku i przetworzyć na serwerze i zwrócić spakowany ZIP

[okazwłoka]

Dokładnie tak, jak znajdę kiedyś czas to dodam taką możliwość.

[okazwłoka]

@qlwik Znalazłem. Wrzuciłem w aktualizację.

Żeby obrabiało duże listy trzeba zwiększyć na serwerze odpowiednio memory_limit (cały plik jest wczytywany) (w php.ini, w przypadku desktopowej wersji php ini znajduje się w katalogu engine).

Testowałem na liście ponad 1 miliona adresów i memory limit ustawone na 2GB.