Commonsense-enhanced deep neural networks for less-resourced languages

Žagar, Aleš (author), Robnik Šikonja, Marko (mentor), Kosem, Iztok (comentor)

This doctoral dissertation addresses the gap in the development of modern language technologies for Slovene, a less-resourced language that lags behind high-resource languages, particularly in the fields of text generation and complex semantic reasoning. The work combines the construction of essential data resources, the development of new methodologies for text summarization and simplification, and an in-depth analysis of the commonsense reasoning capabilities of large language models (LLMs). In the first part, we present infrastructural improvements that serve as a foundation for training and evaluating neural models. We developed an updated version of the Corpus of Academic Slovene (KAS 2.0), which, through cleaner extraction and structural segmentation, enables the creation of dedicated datasets for long-document summarization and machine translation. For standardized evaluation of natural language understanding, we established the Slovene SuperGLUE benchmark, enabling a direct comparison of the performance of monolingual and multilingual models. In the field of text generation, we introduce innovative approaches to address the scarcity of training data. We present a cross-lingual transfer method for summarization that leverages knowledge transfer from English models to effectively summarize Slovene news articles. We further advance the field with the development of the SloMetaSum, which, rather than seeking a universal model, employs a neural network to dynamically select the most suitable summarizer based on the content and structure of the input document. To enhance information accessibility, we designed SENTA, the first comprehensive solution for Slovene sentence simplification, combining complexity classification and generative rewriting using a fine-tuned T5 model. The final part of the thesis focuses on commonsense reasoning. By constructing the extended KE-WSC dataset, enriched with structured ontological annotations and human explanations, we analyze the impact of explicit knowledge on model performance. The results indicate that the inclusion of explanations improves accuracy primarily in models specialized for reasoning, while also revealing a significant gap between a model's ability to solve the task and its capacity to generate high-quality justifications. Through freely available datasets, models, and evaluation studies, this dissertation significantly contributes to the development of semantically deep and user-centric language technologies with focus on Slovene.

• Language: English
• Keywords: natural language processing, text summarization, text simplification, commonsense reasoning, language resources for Slovene, large language models
• Work type: Doctoral dissertation
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2026
• PID: 20.500.12556/RUL-188783
• Publication date in RUL: 27.09.2026

Secondary language

• Language: Slovenian
• Title: Z zdravorazumskim sklepanjem obogatene globoke nevronske mreže za jezike z manj viri

Abstract

Doktorska disertacija naslavlja vrzel v razvoju sodobnih jezikovnih tehnologij za slovenščino, ki kot jezik z manj viri zaostaja za prevladujočimi jeziki, zlasti na področjih generiranja besedil in zahtevnejšega semantičnega sklepanja. Delo združuje izgradnjo nujno potrebnih podatkovnih virov, razvoj novih metodologij za povzemanje in poenostavljanje besedil ter poglobljeno analizo zmožnosti zdravorazumskega sklepanja velikih jezikovnih modelov. V prvem delu predstavimo infrastrukturne izboljšave, ki predstavljajo temelj za učenje in vrednotenje nevronskih modelov. Razvili smo prenovljeno različico Korpusa akademske slovenščine (KAS 2.0), ki s čistejšo ekstrakcijo in strukturno segmentacijo omogoča pripravo namenskih množic za povzemanje daljših dokumentov in strojno prevajanje. Za standardizirano evalvacijo razumevanja jezika smo vzpostavili slovenski nabor nalog SuperGLUE, ki omogoča neposredno primerjavo zmogljivosti enojezičnih in večjezičnih modelov. Na področju generiranja besedil uvajamo inovativne pristope za reševanje problema pomanjkanja učnih podatkov. Predstavimo metodo medjezikovnega prenosa za povzemanje, ki s prenosom znanja iz angleških modelov omogoča učinkovito povzemanje slovenskih novic. Nadgradnjo predstavlja razvoj meta-povzemalnika SloMetaSum, ki namesto iskanja univerzalnega modela uporablja nevronsko mrežo za dinamično izbiro najprimernejšega povzemalnika glede na vsebino in strukturo vhodnega dokumenta. Za povečanje dostopnosti informacij smo zasnovali sistem SENTA, prvo celovito rešitev za poenostavljanje slovenskih stavkov, ki združuje klasifikacijo kompleksnosti in generativno preoblikovanje s prilagojenim modelom T5. Zadnji del naloge se posveča zdravorazumskemu sklepanju. Z izgradnjo razširjene množice KE-WSC, obogatene s strukturiranimi ontološkimi oznakami in človeškimi razlagami, analiziramo vpliv eksplicitnega znanja na uspešnost modelov. Rezultati kažejo, da vključitev razlag izboljša natančnost predvsem pri modelih, specializiranih za logično sklepanje, hkrati pa razkrivajo pomemben razkorak med sposobnostjo modela, da nalogo reši, in njegovo zmožnostjo tvorjenja kakovostne utemeljitve. Disertacija s prosto dostopnimi podatkovnimi zbirkami, modeli in evalvacijskimi študijami pomembno prispeva k razvoju semantično globokih in uporabniku prilagojenih jezikovnih tehnologij s poudarkom na slovenščini.

• Keywords: obdelava naravnega jezika, povzemanje besedil, poenostavljanje besedil, zdravorazumsko sklepanje, jezikovni viri za slovenščino, veliki jezikovni modeli