20.500.12556/RUL-168891 Pomembnost realistične evalvacije primer popravkov sklona in števila v slovenščini z velikim jezikovnim modelom The importance of realistic evaluation an example of correcting Slovene grammatical case and number with large language models Med napake pri pisanju v standardni slovenščini sodi raba neustreznega slovničnega sklona ali števila. S pomočjo velikega jezikovnega modela SloBERTa smo razvili novo metodologijo za strojno prepoznavo tovrstnih težav, ki smo jo preizkusili na neustrezni rabi tožilnika namesto rodilnika in množine namesto dvojine. Za vrednotenje in spreminjanje besednih oblik v vhodnih povedih smo uporabili standardna orodja za obdelavo naravnega jezika, kot sta oblikoskladenjski označevalnik CLASSLA-Stanza in leksikon besednih oblik Sloleks. Predlagani popravki temeljijo na statistiki besednih oblik pri uporabi napovedovanja maskirane besede z velikim jezikovnim modelom. Zaradi pomanjkanja zadostne količine učnih podatkov smo napovedne modele učili na umetno generiranih napakah. Uspešnost strojnega popravljanja smo najprej ovrednotili na umetnih množicah in korpusu Lektor, kasneje pa še na novoustvarjeni evalvacijski množici Šolar-Eval. Evalvacija na prvih dveh množicah je pokazala visoko uspešnost razvite metodologije (zaznanih več kot 90 % napačno nastavljenih besed), Šolar-Eval pa je razkril mnogo slabšo uspešnost na realističnih podatkih (zaznanih le 29,5 % težav tipa rodilnik-tožilnik in 11,4 % težav tipa dvojina-množina). V celoti rezultati kažejo na nevarnost pretiranega prilagajanja podatkovnim množicam in pomembnost evalvacije na ciljno grajenih avtentičnih podatkih, ki pa so za slovenščino še vedno pomanjkljivi. Frequent grammar errors in standard Slovene include using an incorrect grammatical conjugation or number. Using the large language model SloBERTa, we have developed a new methodology for the machine detection of such problems and tested it on incorrect use of the accusative instead of the genitive case and the plural instead of the dual. We applied standard natural language processing tools for Slovenian to evaluate and modify word forms in the input sentences, such as morphosyntactic tagger CLASSLA-Stanza and Slovenian word form lexicon Sloleks. The proposed corrections are based on word form statistics when using masked word prediction with a large language model. Due to the lack of sufficient training data, we trained the prediction models on synthetically generated errors. We first evaluated the performance of machine correction on synthetic data and the Lektor corpus, and later on a newly developed evaluation dataset Šolar-Eval. The evaluation on the first two datasets showed the excellent performance of the developed methodology (more than 90% of detected synthetically introduced errors), while with Šolar-Eval it had a far worse performance (only 29.5% of the problems with the genitiveaccusative grammatical case were detected, and just 11.4% of those with the dual-plural grammatical number). Overall, the results show the danger of overfitting to datasets and the importance of evaluating on purposefully designed authentic datasets, which are still rare for Slovene. slovenščina standardna slovenščina strojno slovnično pregledovanje popravljanje napak slovnični sklon slovnično število veliki jezikovni modeli evalvacije SloBERT (veliki jezikovni model) Slovene standard Slovene grammatical error correction grammatical case grammatical number large language models evaluation true false true Slovenski jezik Angleški jezik Članek v reviji 2025-05-06 09:23:24 2025-05-06 09:23:25 2025-05-07 04:05:40 0000-00-00 00:00:00 2024 0 0 Str. 106-130 št. 1 Letn. 12 2024 0000-00-00 Zaloznikova Objavljeno NiDoloceno 0000-00-00 0000-00-00 2024-01-01 811.163.6'271.1:81'322.2 2335-2736 10.4312/slo2.0.2024.1.106-130 227633411 Petric,+Arhar-Holdt,+Robnik-Sikonja.pdf Petric,+Arhar-Holdt,+Robnik-Sikonja.pdf 1 CEED5734C9B1BE69C0D101C89A1A4917 f2daa688a17e3e3525c85a2ae0f00e89a9fee91a60a8535c8a0c415159847947 7ac58dcc-2a4b-11f0-b232-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=209971 https://journals.uni-lj.si/slovenscina2/article/view/14902 1 d0c44d83-2a49-11f0-b232-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=209970 Fakulteta za računalništvo in informatiko Filozofska fakulteta Slovenščina 2.0 0 0 0