20.500.12556/RUL-85513 Statistična analiza slovenskih jezikovnih korpusov Statistical analysis of Slovene language corpuses Področje procesiranja naravnega jezika je pomembna in obsežna panoga računalništva, vendar je večina obstoječih orodij razvitih in prilagojenih za obdelavo angleških besedil. Razvili smo orodje za statistično analizo velikih jezikovnih korpusov, ki upošteva značilnosti slovenščine kot močno pregibnega jezika. Današnji besedilni korpusi lahko vsebujejo tudi več milijard besed, zato je bil velik del pozornosti namenjen razvoju učinkovitih paralelnih algoritmov, s katerimi bo moč tako obsežne zbirke v razmeroma kratkem času obdelati tudi na običajnih računalnikih. Z orodjem smo analizirali korpus Gigafida, ki vsebuje 1,2 milijarde besed, na več nivojih: na nivoju besednih nizov, nivoju besed, n-gramov, predpon in končnic ter tudi besedotvorne procese v slovenščini. Natural language processing is an important area of computational linguistics and artificial intelligence . Mostly, its existing applications are developed for and based on English texts. We developed an application for the statistical analysis of large text corpora, which takes into account the unique characteristics of Slovene as a strongly inflected language. Since modern text corpora consist of several billion words, we paid special attention to efficient parallel algorithms that are capable of processing these collections in a relatively short amount of time. We analyzed the Gigafida corpus - consisting of 1.2 billion words - on multiple levels: string level, word level, n-gram level, prefix and suffix level, as well as word formation processes of Slovene. statistična analiza jezika jezikovni korpus Gigafida paralelni algoritmi statistical language analysis text corpus Gigafida parallel algorithms true false false Slovenski jezik Angleški jezik Diplomsko delo 2016-09-15 17:25:04 2016-09-15 17:25:05 2022-08-09 08:57:34 0000-00-00 00:00:00 2016 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 1970-01-01 19141 Kljucevsek_Aleksander_-_Statisticna_analiza_slovenskih_jezikovnih_korpusov.pdf Kljucevsek_Aleksander_-_Statisticna_analiza_slovenskih_jezikovnih_korpusov.pdf 1 7C63EA28D0E7F2813D279BC796DD8C5D 5b22386bc1fe7a5942effc9d7d902a111bf35d1826f47bd10b52011fdd16266b fca24476-a1b0-11eb-a523-00155dcfd717 20.500.12556/rul/a1880141-3dca-49f2-881a-b9fed53c7177 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=88631 Fakulteta za računalništvo in informatiko 0 0 0