20.500.12556/RUL-174979 Strojna kategorizacija parafraz z velikimi jezikovnimi modeli magistrsko delo Automatic categorization of paraphrases with large language models Kategorizacija parafraz sistematično razvršča različne tipe jezikovnih transformacij, ki ob spreminjanju površinske oblike ohranjajo pomen besedila. Samodejna kategorizacija parafraz prispeva k boljšemu razumevanju jezikovnih struktur ter izboljšuje interpretabilnost sistemov obdelave naravnega jezika. V tej nalogi smo razvili prvi sistematični pristop k ontološko vodeni kategorizaciji parafraz za slovenščino, ki temelji na velikih jezikovnih modelih. Zaradi specifičnosti slovenščine kot jezika z omejenimi viri smo za kategorizacijo testirali specializirani model GaMS-1B ter večjezični model LLaMA-3.1-8B. Oba temeljita na arhitekturi transformerja, ki trenutno prevladuje na področju obdelave naravnega jezika. Iz štirih angleških korpusov parafraz smo pridobili primere, jih prevedli v slovenščino in tako ustvarili učno množico s 372 označenimi parafraznimi pari. Množica je uporabna za nadaljnje raziskave ter gradnjo modelov kategorizacije slovenskih parafraz. Razvili smo dvonivojsko ontološko shemo s štirimi glavnimi kategorijami in dvanajstimi podkategorijami za kategorizacijo učnih primerov in vodenje prilagoditve modelov. Na tej osnovi smo evalvacijo izvedli kvantitativno z metrikami podobnosti in uspešnosti ter kvalitativno s človeško presojo. Model GaMS je dosegel boljše rezultate pri sintaktičnem in pragmatičnem parafraziranju, LLaMA pa pri leksikalnem in semantičnem. Z analizo rezultatov smo opredelili primerne velikosti učnih množic ter pokazali, da veliki jezikovni modeli za uspešno kategorizacijo potrebujejo na kategorijo le šest do osem primerov. Paraphrase categorization involves systematic classification of different types of linguistic transformations that preserve text meaning while changing surface form. Automatic paraphrase categorization contributes to better understanding of linguistic structures and improves interpretability of natural language processing systems. In this work, we developed the first systematic approach to ontology-driven paraphrase categorization for Slovenian, based on large language models. Due to the specificity of Slovenian as a less-resourced language, we tested the specialized GaMS-1B model and the multilingual LLaMA-3.1-8B model. Both are based on transformer architecture, which currently dominates the field of natural language processing. From four English paraphrase corpora, we obtained examples, translated them into Slovenian, and thus created a training dataset with 372 annotated paraphrase pairs. The dataset is useful for further research and building models for Slovenian paraphrase categorization. We developed a two-level ontological schema with four main categories and twelve subcategories to categorize the training examples and guide the model adaptation. Based on this, we conducted the evaluation quantitatively using similarity and performance metrics, and qualitatively through human judgment. The GaMS model achieved better results in syntactic and pragmatic paraphrasing, while LLaMA performed better in lexical and semantic paraphrasing. Through analysis of the results, we identified suitable training set sizes and showed that large language models require only 6-8 examples per category for successful categorization. Kognitivna znanost Parafraza parafraziranje obdelava naravnega jezika veliki jezikovni modeli ontologije kategorizacija paraphrasing natural language processing large language models ontologies categorization true false false A. Žumer Slovenski jezik Angleški jezik Magistrsko delo/naloga 2025-10-11 08:30:21 2025-10-11 08:30:32 2025-12-03 03:38:42 0000-00-00 00:00:00 2025 0 Ljubljana 0 Ljubljana 71 str. 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 81'42:004.89(043.2) 193152 253336579 43672.pdf 43672.pdf 1 7D8F5BE4BDF624AADB1364999CE8DB54 2676031bf91f6c074f4414effd0d79893c1f3bfa181138eb75bdb8b5a385e6f8 89a0411c-a66b-11f0-9328-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=219892 Pedagoška fakulteta 0 0 0