Logično sklepanje v naravnem jeziku za slovenščino z velikimi jezikovnimi modeliKMECL, TIM (Avtor) Robnik Šikonja, Marko (Mentor) logično sklepanje v naravnem jezikuveliki jezikovni modeliarhitektura TransformerSloBERTaSloT5GPT-3.5-turboChatGPTslovenščinaprilagajanje modelovNa področju strojnega razumevanja naravnega jezika so v zadnjih letih najuspešnejši veliki jezikovni modeli. Pomemben problem s tega področja je logično sklepanje v naravnem jeziku, za reševanje katerega potrebujejo modeli tudi poznavanje resničnega sveta, strojno generiranje razlag sklepov pa nam omogoča dodaten vpogled v njihovo delovanje. V diplomskem delu smo preizkusili različne pristope za logično sklepanje v naravnem jeziku za slovenščino. Uporabili smo dva slovenska velika jezikovna modela, SloBERTa in SloT5 in mnogo večji angleški jezikovni model GPT-3.5-turbo. Za učenje modelov smo uporabili slovensko podatkovno množico SI-NLI, strojno pa smo prevedli še 50.000 primerov iz angleške množice ESNLI. Model SloBERTa smo prilagodili na obeh množicah. Model SloBERTa, prilagojen na SI-NLI, doseže na testni množici SI-NLI klasifikacijsko točnost 74,4 %. Z vnaprejšnjim učenjem na prevodih ESNLI smo točnost izboljšali na 75,3 %. Ugotovili smo, da modeli delajo drugačne vrste napak kot ljudje in da slabo posplošujejo med različnimi domenami primerov. SloT5 smo na množici ESNLI prilagodili za generiranje razlag pri logičnem sklepanju. Ustreznih je manj kot tretjina razlag, pri čemer se model dobro nauči pogostih stavčnih oblik v razlagah, večinoma pa so pomensko nesmiselne. Sklepamo, da so slovenski veliki jezikovni modeli z nekaj sto milijoni parametrov zmožni iskanja in uporabe jezikovnih vzorcev, poznavanje jezika pa ni povezano s poznavanjem resničnosti. Za klasificiranje in generiranje razlag smo uporabili še večji model GPT-3.5-turbo. Pri učenju brez dodatnih primerov doseže na testni množici SI-NLI točnost 56,5 %, pri pravilno klasificiranih primerih pa je ustreznih 81 % razlag. V primerjavi z manjšimi slovenskimi modeli kaže dokaj dobro razumevanje resničnosti, pri čemer ga omejuje slabše poznavanje slovenščine.20232023-09-07 11:50:02Diplomsko delo/naloga149573sl