Strojna kategorizacija parafraz z velikimi jezikovnimi modeliŽumer, Alenka (Avtor) Robnik Šikonja, Marko (Mentor) Kognitivna znanostParafrazaparafraziranjeobdelava naravnega jezikaveliki jezikovni modeliontologijekategorizacijaKategorizacija parafraz sistematično razvršča različne tipe jezikovnih transformacij, ki ob spreminjanju površinske oblike ohranjajo pomen besedila. Samodejna kategorizacija parafraz prispeva k boljšemu razumevanju jezikovnih struktur ter izboljšuje interpretabilnost sistemov obdelave naravnega jezika. V tej nalogi smo razvili prvi sistematični pristop k ontološko vodeni kategorizaciji parafraz za slovenščino, ki temelji na velikih jezikovnih modelih. Zaradi specifičnosti slovenščine kot jezika z omejenimi viri smo za kategorizacijo testirali specializirani model GaMS-1B ter večjezični model LLaMA-3.1-8B. Oba temeljita na arhitekturi transformerja, ki trenutno prevladuje na področju obdelave naravnega jezika. Iz štirih angleških korpusov parafraz smo pridobili primere, jih prevedli v slovenščino in tako ustvarili učno množico s 372 označenimi parafraznimi pari. Množica je uporabna za nadaljnje raziskave ter gradnjo modelov kategorizacije slovenskih parafraz. Razvili smo dvonivojsko ontološko shemo s štirimi glavnimi kategorijami in dvanajstimi podkategorijami za kategorizacijo učnih primerov in vodenje prilagoditve modelov. Na tej osnovi smo evalvacijo izvedli kvantitativno z metrikami podobnosti in uspešnosti ter kvalitativno s človeško presojo. Model GaMS je dosegel boljše rezultate pri sintaktičnem in pragmatičnem parafraziranju, LLaMA pa pri leksikalnem in semantičnem. Z analizo rezultatov smo opredelili primerne velikosti učnih množic ter pokazali, da veliki jezikovni modeli za uspešno kategorizacijo potrebujejo na kategorijo le šest do osem primerov.A. Žumer20252025-10-11 08:30:21Magistrsko delo/naloga174979UDK: 81'42:004.89(043.2)VisID: 193152COBISS_ID: 253336579sl