20.500.12556/RUL-173848 Prilagoditev velikih jezikovnih modelov s človeškimi preferencami Adapting large language models with human preferences Magistrsko delo naslavlja izboljšanje pogovornih zmožnosti odprtokodnih slovenskih velikih jezikovnih modelov, kot je GaMS 9B Instruct, katerih odgovori so pogosto kratki in slabo strukturirani. Za sistematično zbiranje preferenc slovenskih uporabnikov glede pogovornih zmožnosti modelov smo vzpostavili Slovensko pogovorno areno. Gre za spletno platformo za slepo primerjavo dveh anonimnih modelov, kjer zbrane preference uporabnikov služijo za rangiranje le-teh in zbiranje podatkov za njihovo nadaljnje učenje. Zaradi nezadostne količine zbranih preferenčnih podatkov smo s pomočjo modela GaMS 27B Instruct prevedli visokokakovostno angleško učno množico Nemotron Post Training Dataset v1. Na podlagi te množice smo naučili model GaMS 9B Instruct Nemotron, ki v primerjavi z osnovnim modelom generira daljše in bolje strukturirane odgovore. Uspeh metode potrjujejo visoke ocene uporabnikov v pogovorni areni, kjer se je prilagojeni model uvrstil med najboljše. Model je uspešen tudi na primerjalnih testih Slovenian LLM eval, SloBench in Belebele. This thesis addresses the challenge of improving the conversational capabilities of open-source Slovene large language models, such as GaMS 9B Instruct, whose responses are often short and poorly structured. To systematically collect user preferences, we established the Slovenian Chatbot Arena, a platform for blind side-by-side comparison of anonymous models where the collected data serves both for model ranking and for gathering training data. Due to the insufficient quantity of collected preference data, we translated the high-quality English dataset Nemotron Post Training Dataset v1 using the GaMS 27B Instruct model. Based on this dataset, we fine-tuned the GaMS 9B Instruct Nemotron model, which, compared to GaMS 9B Instruct, generates longer and better-structured responses. The success of this method is confirmed by high user ratings in the chatbot arena, where the fine-tuned model ranked among the best. The model also performs well on the Slovenian LLM eval, SloBench, and Belebele benchmarks. veliki jezikovni modeli Slovenska pogovorna arena družina modelov GaMS large language models Slovenian chatbot arena GaMS model family true false false Slovenski jezik Angleški jezik Magistrsko delo/naloga 2025-09-24 08:50:00 2025-09-24 08:50:05 2025-11-14 03:40:30 0000-00-00 00:00:00 2025 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 37829 254192899 Petric_Timotej_-_Prilagoditev_velikih_jezikovnih_modelov_s_cloveskimi_preferencami.pdf Petric_Timotej_-_Prilagoditev_velikih_jezikovnih_modelov_s_cloveskimi_preferencami.pdf 1 BC66FC185593DB237EE96BEB0E255C58 d280355e817a9076c2e55e8974fe6c49a3ea7d89f90403b35ece570621955e72 855031d7-9912-11f0-9328-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=218524 Fakulteta za računalništvo in informatiko 0 0 0