20.500.12556/RUL-119034 Globoke nevronske mreže za postavljanje vejic v slovenskem jeziku Deep neural networks for comma placement in Slovene Med najpogostejše napake pri pisanju besedil v slovenščini sodi postavljanje vejic. V diplomski nalogi se bomo osredotočili na postavljanje vejic s pomočjo globokih nevronskih mrež. Predstavili bomo dve arhitekturi, eno na podlagi nevronskih mrež s celicami GRU in drugo z vnaprej naučenim jezikovnim modelom tipa BERT. Pri uporabi jezikovnega modela tipa BERT opazimo boljšo klasifikacijsko točnost. Vzrok za to je boljša in kompleksnejša arhitektura modela ter proces učenja, ki izpopolnjuje model z obširnim jezikovnim znanjem. Z uporabo večjezičnega modela BERT, naučenega na 104 jezikih in le manjšo množico slovenskih besedil, pridobimo rešitev, ki je primerljiva z rešitvijo, ki smo jo pridobili z uporabo trojezičnega, slovensko-hrvaško-angleškega modela BERT. Comma placement is the most frequent orthological mistake in Slovene. The thesis focuses on comma placement using deep neural networks. We present two architectures, one based on neural networks with GRU cells and another using a pre-learned BERT language model. Using a pre-learned BERT language model, we get better classification accuracy. The reason for this is better and more complex architecture and the learning process, which fine-tuned a pretrained model with substantial language knowladge. With the multilingual BERT, trained on 104 languages with only a small amount of Slovene texts, we achieve comparable results to Slovene-Croatian-English BERT model, trained with much more Slovene texts. globoke nevronske mreže mreže GRU model BERT postavljanje vejic deep neural networks GRU networks BERT model comma placement true false false Slovenski jezik Angleški jezik Diplomsko delo/naloga 2020-09-01 10:20:00 2020-09-01 10:20:05 2024-01-15 09:43:36 0000-00-00 00:00:00 2020 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 25969 27670787 Bozic_Martin_-_Globoke_nevronske_mreze_za_postavljanje_vejic_v_slovenskem_jeziku.pdf Bozic_Martin_-_Globoke_nevronske_mreze_za_postavljanje_vejic_v_slovenskem_jeziku.pdf 1 1C1EC00FEC53827327048A5F4DE8AA57 8c1d7dd637760301cb8318a0d9b06c31ce0e96d19778286b21f91c1970a038cd b74148bf-a1b9-11eb-a523-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=133688 Fakulteta za računalništvo in informatiko 0 0 0