20.500.12556/RUL-189335 Jezik kot dejavnik pri etičnem razmišljanju velikih jezikovnih modelov: primerjalna analiza slovenščine in angleščine Language as a Factor in Ethical Thinking of Large Language Models: A Comparative Analysis of Slovene and English Magistrsko delo obravnava vprašanje, ali se moralno presojanje in usklajevanje vrednot velikih jezikovnih modelov razlikujeta glede na jezik poziva. Raziskava se osredotoča na primerjavo angleških in slovenskih pozivov v moralno relevantnih nalogah iz nabora podatkov ETHICS, ki vključuje pet etičnih podsklopov: splošno moralno presojo, deontologijo, pravičnost, etiko vrlin in utilitarizem. Ker je bil nabor ETHICS izvorno oblikovan v angleščini in z angleško govorečimi označevalci, naloga poleg izvirnih angleških oznak vzpostavi tudi slovensko človeško izhodiščno vrednost, oblikovano na podlagi presoj slovenskih označevalcev. V empirični analizi sta obravnavana modela Llama 3.3 in GaMS3. Modela sta bila testirana na izbranem podvzorcu nabora ETHICS v angleščini in slovenščini, pri čemer so bili angleški odgovori primerjani z izvirnimi oznakami nabora, slovenski odgovori pa s slovensko večinsko oznako. Rezultati kažejo, da oba modela v slovenščini dosegata nižje ujemanje s človeškimi referenčnimi presojami kot v angleščini. Razlike med jezikoma niso enakomerno razporejene po vseh etičnih podsklopih, temveč so najbolj izrazite pri utilitarizmu in etiki vrlin. Dodatna analiza je pokazala tudi pristranskost modelov k oznaki 1, zlasti pri deontološkem podsklopu in modelu GaMS3. Naloga kaže, da rezultatov moralne evalvacije velikih jezikovnih modelov v angleščini ni mogoče neposredno posplošiti na slovenščino. Obenem izpostavi pomen lokaliziranih človeških izhodišč pri evalvaciji modelov v manjših jezikih, saj neposreden prevod evalvacijskega nabora ne zagotavlja nujno primerljive referenčne vrednosti v ciljnem jezikovnem kontekstu. This master’s thesis examines whether moral judgment and value alignment in large language models vary depending on the language of the prompt. The research focuses on a comparison between English and Slovene prompts in morally relevant tasks from the ETHICS dataset, which includes five ethical subsets: commonsense morality, deontology, justice, virtue ethics, and utilitarianism. Since ETHICS was originally developed in English and annotated by English-speaking annotators, the thesis establishes a Slovene human baseline in addition to the original English labels. The Slovene baseline is based on the majority judgments of Slovene annotators. The empirical analysis includes two large language models: Llama 3.3 and GaMS3. The models were tested on a selected subset of ETHICS in English and Slovene. English model responses were evaluated against the original ETHICS labels, while Slovene responses were evaluated against the Slovene majority labels. The results show that both models achieve lower agreement with human reference judgments in Slovene than in English. The differences between the two languages are not evenly distributed across all ethical subsets but are most pronounced in utilitarianism and virtue ethics. Further analysis also revealed a bias toward label 1 in the models, particularly in the deontological subset and the GaMS3 model. The thesis shows that results of moral evaluation in English cannot be directly generalized to Slovene. It also highlights the importance of localized human baselines in the evaluation of large language models in smaller languages, since a direct translation of an evaluation dataset does not necessarily provide an equivalent reference point in the target linguistic context. veliki jezikovni modeli moralno presojanje večjezična evalvacija slovenščina usklajevanje vrednot large language models moral judgment multilingual evaluation Slovene value alignment true false false Slovenski jezik Angleški jezik Magistrsko delo/naloga 2026-10-04 07:16:18 2026-10-04 07:16:29 2026-10-15 10:54:23 0000-00-00 00:00:00 2026 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 642524 301027587 70962.pdf 70962.pdf 1 12B43E4109496DC4EAF1A4143A888F59 750742801eedbdb63b2487231f73072f1b1fe782186d93ba9c225bbccfb2325c a19b29c3-bfb2-11f1-8bc5-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=249807 70963.docx 70963.docx 1 D23FB4D408EFACD3DA3EE6F1F53E9576 5d2d2a1088dd10cd5c184c35790512a18fe129833d1c27d5368e7347c9ab4454 a19d9b31-bfb2-11f1-8bc5-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=249808 Filozofska fakulteta 0 0 0