Prilagoditev velikih jezikovnih modelov s človeškimi preferencamiPetrič, Timotej (Avtor) Robnik Šikonja, Marko (Mentor) veliki jezikovni modeliSlovenska pogovorna arenadružina modelov GaMSMagistrsko delo naslavlja izboljšanje pogovornih zmožnosti odprtokodnih slovenskih velikih jezikovnih modelov, kot je GaMS 9B Instruct, katerih odgovori so pogosto kratki in slabo strukturirani. Za sistematično zbiranje preferenc slovenskih uporabnikov glede pogovornih zmožnosti modelov smo vzpostavili Slovensko pogovorno areno. Gre za spletno platformo za slepo primerjavo dveh anonimnih modelov, kjer zbrane preference uporabnikov služijo za rangiranje le-teh in zbiranje podatkov za njihovo nadaljnje učenje. Zaradi nezadostne količine zbranih preferenčnih podatkov smo s pomočjo modela GaMS 27B Instruct prevedli visokokakovostno angleško učno množico Nemotron Post Training Dataset v1. Na podlagi te množice smo naučili model GaMS 9B Instruct Nemotron, ki v primerjavi z osnovnim modelom generira daljše in bolje strukturirane odgovore. Uspeh metode potrjujejo visoke ocene uporabnikov v pogovorni areni, kjer se je prilagojeni model uvrstil med najboljše. Model je uspešen tudi na primerjalnih testih Slovenian LLM eval, SloBench in Belebele.20252025-09-24 08:50:00Magistrsko delo/naloga173848sl