20.500.12556/RUL-130323 Segmentacija in postavljanje končnih ločil v slovenskih stavkih z modeli tipa BERT Slovene sentence segmentation and punctuation using BERT-like models V diplomski nalogi se osredotočamo na postavljanje končnih ločil v povedih. Modeli za postavljanje ločil so uporabni pri urejanju besedil, generiranih s prepoznavanjem govora in potencialno tudi pri popravljanju različnih besedil. Ugotoviti želimo, ali je poved pripovedna, vprašalna ali vzklična in kje se ta poved konča. Končna implementacija za vsako besedo v besedilu napove, ali in katero ločilo ji sledi. Uporabili smo slovenski različici modela BERT, ki sta uspešni pri obdelavi naravnega jezika. Model CroSloEngual BERT, ki je bil naučen na podlagi slovenskega, hrvaškega in angleškega jezika, in model SloBERTa, ki je bil naučen na izključno slovenskem jeziku, smo izpopolnili na pripravljeni učni množici. Rezultati kažejo, da model SloBERTa ločila napoveduje bolje od modela CroSloEngual BERT. Ugotovili smo tudi, da je težko napovedovati klicaje, saj jih v učni množici ni dovolj. The thesis focuses on the prediction of final punctuation in sentences. Punctuation prediction models are useful in speech recognition and potentially in correcting various texts. We want to predict where sentences end and whether they end with an exclamation, a period or a question mark. Our implementation predicts whether and what punctuation to place after each word. We used two Slovene variants of BERT model, both successful in natural language processing tasks. The CroSloEngual BERT model has been pretrained on Slovenian, Croatian and English language. We compared it to SloBERTa model, trained exclusively on Slovenian corpora. We fine-tuned these models on prepared data sets. Results show that SloBERTa model is better at predicting punctuation than the CroSloEngual BERT model. Results show that predicting exclamation mark is difficult due to a low number of training instances. globoke nevronske mreže obdelava naravnega jezika model BERT model RoBERTa napovedovanje končnih ločil segmentacija stavkov transformerji jezikovni model deep neural networks natural language processing end of sentence punctuation prediction model RoBERTa model BERT sentence segmentation transformers language model true false false Slovenski jezik Angleški jezik Diplomsko delo/naloga 2021-09-13 19:35:00 2021-09-13 19:35:06 2022-09-09 04:15:54 0000-00-00 00:00:00 2021 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 32962 77868291 Velikonja_Nejc_-_Segmentacija_in_postavljanje_koncnih_locil_v_slovenskih_stavkih_z_modeli_tipa_B.pdf Velikonja_Nejc_-_Segmentacija_in_postavljanje_koncnih_locil_v_slovenskih_stavkih_z_modeli_tipa_B.pdf 1 749BD4959BB611068339A9EAF49456DA 783d8afd22a1140729f700969f4f011897731ee942573231327b5c84773c5fde ae36ffc4-14b8-11ec-a523-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=147414 Fakulteta za računalništvo in informatiko 0 0 0