20.500.12556/RUL-184701 Improving Large Language Models for Machine Translation Using Synthetic Preference Data Izboljšanje velikih jezikovnih modelov za strojno prevajanje z uporabo sintetičnih podatkov o preferencah Large language models have emerged as effective machine translation systems. We explore how a general instruction-tuned large language model can be improved for machine translation using relatively few easily produced data resources. With Slovene as our primary use case, we improve the GaMS-9B-Instruct model using Direct Preference Optimization (DPO) training on a programmatically curated and enhanced subset of a public dataset. As DPO requires pairs of quality-ranked instances, we generated its training dataset by translating English Wikipedia articles using two LLMs, GaMS-9B-Instruct and EuroLLM-9B-Instruct. We ranked the resulting translations based on heuristics coupled with automatic evaluation metrics such as COMET. The evaluation shows that our fine-tuned model outperforms both models involved in the dataset generation. In comparison to the baseline models, the fine-tuned model achieved a COMET score gain between 0.02 and 0.04 on translating a wide variety of texts. It also avoids language and formatting errors more consistently. Veliki jezikovni modeli so se izkazali kot učinkoviti strojni prevajalniki. V delu raziskujemo, kako lahko splošno namenski veliki jezikovni model prilagojen za sledenje navodilom izboljšamo za strojno prevajanje z uporabo relativno majhne količine enostavno pridobljenih podatkovnih virov. Na primeru slovenščine izboljšamo model GaMS-9B-Instruct z uporabo neposredne optimizacije preferenc (DPO), s katero ga učimo na strojno generirani in izboljšani podmnožici javno dostopnih podatkov. Ker metoda DPO zahteva pare primerov, razvrščenih po kakovosti, smo njen nabor podatkov za učenje ustvarili s prevajanjem angleških člankov z Wikipedije z uporabo dveh modelov: GaMS-9B-Instruct in EuroLLM-9B-Instruct. Prevode smo razvrstili na podlagi hevristik v kombinaciji z avtomatskimi metrikami, kot je COMET. Evalvacija kaže, da naš prilagojen model presega zmogljivost obeh modelov, uporabljenih v procesu generiranja učne množice. V primerjavi z izhodiščnima modeloma je prilagojen model pri prevajanju raznolikih besedil dosegel izboljšanje vrednosti metrike COMET za približno 0,02 do 0,04. Prav tako se dosledneje izogiba jezikovnim in oblikovnim napakam. machine learning machine translation large language models strojno učenje strojno prevajanje veliki jezikovni modeli true false false Angleški jezik Slovenski jezik Diplomsko delo/naloga 2026-07-13 13:15:04 2026-07-13 13:15:12 2026-07-14 04:03:11 0000-00-00 00:00:00 2026 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 1970-01-01 38808 Vajda_Dario_-_Izboljsanje_velikih_jezikovnih_modelov_za_strojno_prevajanje_z_uporabo_sinteticnih.pdf Vajda_Dario_-_Izboljsanje_velikih_jezikovnih_modelov_za_strojno_prevajanje_z_uporabo_sinteticnih.pdf 1 2E9E3E5CE8DA5DE1FD262952687262E7 15352634a916a8612b44c3e304a102f08b9e2d70316a88c7c9660cb00d17d543 f47f627c-7eab-11f1-9b0d-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=237656 Fakulteta za računalništvo in informatiko 0 0 0