Markov i zło wszelakie

[bolesna_prawda]

Jak myślicie? Czy Google ma jakieś patenty na wykrywanie tego typu sieczki? Jest to w ogóle możliwe? I czy w ogóle jest to opłacalne ekonomicznie, jeśli takowe sposoby istnieją. Chodzi mi oczywiście o jakieś algorytmy, a nie niewolników w SQT przeglądających internet strona po stronie. Wiadomo, ze jakąś moc obliczeniową trzeba by na to zużyć, a internet jest sporych rozmiarów.

[Veal]

Da się z dużym podobieństwem - jeśli nie 100% - algorytmicznie określić, że dany tekst został wygenerowany markovem, dlatego myślę, że strony tego typu są podsyłane do ręcznego przeglądu SQT (dla pewności). Jeśli tak nie jest to w Google siedzą idioci

[bolesna_prawda]

A jak mniej więcej wyglądał by taki algorytm? Na czym się oprzeć? Ja czasami siadam do pisania takiego skryptu, ale zawsze lipa. Żaden punkt zaczepienia nie przychodzi mi do głowy. Mowa też o języku polskim, dla języków ze "sztywną" gramatyką pewnie więcej bym zdziałał.

[Veal]

Jest kilka bibliotek (np. z projektu Morfologik), które radzą sobie nieźle z językiem polskim i można wyjść od analizy "zgodności gramatycznej" wyrazów w zdaniu. Można też skonstruować model języka i za jego pomocą analizować prawdopodobieństwo wystąpienia danego zdania (implementacje markova, które widziałem nie analizują prawdopodobieństwa istnienia zdania jako całości, tylko prawdopodobieństwo wystąpienie po sobie 2-4 wyrazów). Można punktem wyjścia uczynić rozbiór logiczny zdania itd. Wszystko wymaga trochę czasu i testów, ale jest do zrobienia

[bolesna_prawda]

LanguageTool ze strony Morfologika daje trochę do myślnia. Teraz jakoś nie widzę banowania stron wypełnionych sieczką z generatora, jedak może to się zmienić w niedalekiej przyszłości.

Istnieją jakieś ogólodostępne dane statystyczne dotyczące języka polskiego? Np. w tm momencie interesuje mnie coś w stylu wykresu szansy na wystąpienie zdania w zależności od jego długości. W przyszłości pewnie dojdą również inne zależności. Obecnie słabo obracam się w tej tematyce, więc niezbyt wiem pod jakimi hasłami mogę tego szukac.