SYNOGLOTA - zaawansowany synonimizator tekstu

[dziki_rysio_997]

Zachęcony przez Was posiedziałem nad wydajnością, oto, co udało mi się uzyskać:

- minimalna ilość pamięci potrzebna do uruchomienia programu: 170MB -> ok. 50MB

- wielkość bazy programu po optymalizacji: ok. 600MB (było ok. 1GB)

- wielkość paczki do pobrania: 213MB -> 140MB

Ale przede wszystkim popracowałem nad szybkością synonimizacji (również dla konfiguracji z małą ilością przydzielonej pamięci): program przez kilka sekund po starcie "buforuje" pliki bazy danych (można w tym czasie już korzystać z programu, np. pisać tekst, czy nawet uruchamiać synonimizację, ale kilka sekund zwłoki w trakcie synonimizacji zostanie "wynagrodzone" ) - postęp widać w lewym dolnym rogu ("Buforowanie plików bazy danych...").

Sprawdzałem program na dwóch komputerach i systemach Win XP, Win 7 - poprawa szybkości synonimizacji była BARDZO wyraźna (od pierwszej synonimizacji, która jak do tej pory była bardziej bolesna).

Docelowo zmiana wejdzie w wersji 1.3, ale już teraz zapraszam do pobrania "szybkiej wersji synonimizatora".

Ci, którzy w bazie programu zapisali własne synonimy proszeni są o przekopiowanie katalogu my_data do nowej wersji.

[blake]

Hmm, pobrałem nową wersję, przerzuciłem na SSD i teraz to jest rakieta Tekst na 10k znaków w około 3 sek synonimizuje z największą ilością synonimów.

[dziki_rysio_997]

Hmm, pobrałem nową wersję, przerzuciłem na SSD i teraz to jest rakieta Tekst na 10k znaków w około 3 sek synonimizuje z największą ilością synonimów.

Żeby wszyscy mieli dysk SSD to by była bajka.

Z HDD trzeba kombinować, a i tak ciężko przeskoczyć pewien poziom.

Pozdrawiam

[jezyk403]

dziki_rysio_997 a myślisz by wstawic dodatkowo generator tekstu ? Wtedy soficik by jeszcze piękniej działał ???

[dziki_rysio_997]

Proszę napisz, jak chciałbyś, żeby to wyglądało i postaram się nad tym pomyśleć.

[uzytkownik999]

Z tym generatorem to na prawde bardzo dobry pomysł !!!!

[TheMatthew173]

Macie na myśli taki łańcuch Markowa?

[uzytkownik999]

Tak, cos byle jak najmniej ingerencji. Ale zeby zachowac typową budowe polskiego zdania czyli.

'1wyraz_orzeczenie' + '2wyraz_rzeczownik' + '3wyraz_przyslowek' + '4wyraz_okolicznik' itd

taka struktura, ktora by sie zmieniala...

Mam propozycje wprowadzenia malutkiej opcji.

Aktualnie możemy generowac artykuły do pliku, wpisujemy ile chcemy.

Tylko dlaczego on wszystko zapisuje do osobnych plikow?

Mozna zrobic dodatkowa opcje 'zapisz wszystko do jednego pliku' ?

Bo tak otwierac 50 plikow i kopiowac i wklejac wszystko do jednego to troche czasochlonne.

albo

jak klikam 'generuj podgląd' a potem opcje 'zapisz do pliku' i proboje zapisac do pliku ktory juz istnieje, to program zamiast dopisac nowy artykuł do pliku to proponuje nadpisanie tego ktory juz istnieje. Troche nielogiczne, bo skoro chce swiadomie zapisac do konkretnego pliku no to powinien tylko 'dodac nowy wpis', a nie nadpisywanie (kasowanie) istniejącej zawartosci i dodanie nowej. Mi się to wydaje logiczne i w dodatku bardzo przydatne.

A ogólnie oceniam program perfect!!! Nic wiecej mi nie potrzeba do syninozowania

Swietna robota!

[mindryl]

Tak, opcja generatora była już wspominana też przeze mnie wcześniej - jest w planach tylko warto by ktoś bieglejszy zaproponowął jaka opcja będzie najprostsza do implementacji. Np. chcemy wygenerować bardziej tematyczne artykuły - definiujemy żródło - np blogi tematyczne wp, albo pobieramy losowo dla mniej wartościowych tekstów z wielojęzycznych żródeł. Ale tu kwestia czy z wp będzie to najprostsze do wdrożenia, czy jakiegoś innego żródła/skryptu.

[TheMatthew173]

Ja jednak proponuję skupić się autorowi na mojej propozycji, a mianowicie możliwości synonimizacji dwóch wyrazów w jeden itp. Pisałem o tym wcześniej.

Bardzo proszę o tą opcję, bo Wy teraz skupiacie się bardziej na masowe generowanie tekstów, a mi zależy na jakości

Pozdrawiam

[Czika]

Popieram ideę synonimizacji fraz rękami i nogami.

Miało być też przenoszenie wyrazów trochę bardziej po polsku.

[blake]

bardziej tematyczne artykuły - definiujemy żródło - np blogi tematyczne

A na jaką cholerę?

Jak już chcesz "tematyczność" której i tak nie ma to można to rozwiązać w ten sposób: Wpisujesz słowo kluczowe, wpisujesz liczbę wystąpień - np 5 i przybliżoną ilość znaków po wygenerowaniu, np 1k i klikasz start. Program sam wrzucałby do tekstu w losowe miejsca słowo kluczowe (w tym przypadku 5 razy bo tyle wpisałeś) i tworzyłby sobie jakiś losowy tekst a później go synonimizował z największą możliwą ilością synonimów. Nie trzeba by było wtedy wchodzić na artelisa po teksty To byłoby ułatwienie

[dziki_rysio_997]

Za kilka dni zaproponuję funkcjonalność na wersję 1.3, nie ukrywam, że chciałbym zmieścić tam dwie główne kwestie: synonimizację frazami (to, o czym wspominał @TheMatthew173) + zapamiętywanie wyborów Użytkownika w trybie "półautomatycznym".

Jeśli chodzi o generator, bardziej prawdopodobne jest, że pojawiłby się w 1.4 - osobiście bliski jestem temu, co zaproponował @blake - Użytkownik podaje słowa kluczowe, które mają się pojawić w tekście, częstość wystąpień danego słowa + długość tekstu wynikowego, a program generuje tekst czymś w rodzaju Markova + to, o czym pisał @uzytkownik999 - wpasowywanie tego w "szablony" zdań dla języka polskiego, czyli części mowy i ich odmiany.

[TheMatthew173]

Czekam z niecierpliwością. Kilka poprawek i nowych funkcji a sofcik będzie miodzio

Kiedy można się spodizewać wersji 1.3?

[dziki_rysio_997]

W najbliższym tygodniu chciałbym wypuścić wersję na linuxa (a po jej pomyślnych testach + feedbacku również na maca), w środku tygodnia prawie dwa dni mnie nie będzie, no i mam jeszcze parę innych rzeczy do zrobienia, dlatego przyjmuję, że coś w okolicach 15.-20. lipca jest realne. Myślę, że na początku przyszłego tygodnia będę mógł powiedzieć, jak sprawa wygląda.