Uporaba velikih jezikovnih modelov za zmanjševanje učnih razlikVRBINC, GAJA (Avtor) Perš, Janez (Mentor) Košir, Andrej (Komentor) veliki jezikovni modelivirtualni inštruktoručne razlikeinicializacija modelamatematikaV magisterski nalogi predstavimo sistem, zasnovan na velikih jezikovnih modelih, za cenovno dostopno in personalizirano učno pomoč z namenom zmanjševanja učnih razlik. Sistem temelji na uporabi dveh velikih jezikovnih modelov: naprednega plačljivega modela in prosto dostopnega modela. Plačljivi model se uporabi za pripravo inicializacijskega besedila, ki se vnese v brezplačni model. Inicializacijsko besedilo brezplačnemu modelu opredeli učno snov, vlogo modela in način podajanja razlage. Brezplačni model nato nudi razlage, vodi reševanje nalog in preverja razumevanje v skladu z vnaprej določenim kontekstom. Učinkovitost pristopa smo preverili v eksperimentalnem delu na primerih iz matematike. Primerjali smo dve različici brezplačnega modela, ki sta prejeli enak vhodni poziv, pri čemer je ena pred tem prejela še inicializacijsko besedilo. Pripravili smo 30 parov odzivov, pet neodvisnih ocenjevalcev pa jih je slepo ovrednotilo po treh vidikih: vodenje učenca, spodbujanje in razkritje odgovora. Ocenjevanje je potekalo na lestvici od -2 do +2, pri čemer so ocenjevalci zaradi slepe postavitve presojali, ali je bil boljši levi ali desni odziv (močno boljši, nekoliko boljši) oziroma ali razlike ni bilo mogoče zanesljivo določiti. Analiza rezultatov kaže, da so ocene izrazito v prid inicializiranega modela, saj pri vseh treh vidikih prevladujejo pozitivne ocene. Pri vodenju se pojavi tudi nekaj negativnih ocen (v korist neinicializiranega modela), pri spodbujanju jih je zelo malo, pri razkritju pa jih ni; hkrati je pri razkritju prisoten nekoliko večji delež ocen, da razlike ni mogoče zanesljivo določiti. Delež močnih zmag je največji pri razkritju, sledi spodbujanje, pri vodenju pa je približno polovica zmag izrazitih. Na ravni primerov so povprečne razlike jasno pozitivne, intervali zaupanja ostajajo nad nič, rezultati p-vrednosti pa potrjujejo, da so ugotovljene razlike statistično zelo prepričljive. Skladnost med ocenjevalci je na 5-razredni lestvici pri razkritju visoka, pri vodenju in spodbujanju pa nižja, vendar se izboljša po zgoščeni preslikavi na 3-razredno lestvico, kar kaže, da je bila ocenjevalcem smer izida lažje razvidna kot natančna stopnja prednosti; pri spodbujanju se hkrati pokaže učinek prevalence, saj izrazita prevlada enega razreda znižuje koeficiente kljub skoraj enotnim izidom. Zaključimo, da je uvedba inicializacijskega besedila smiselna in učinkovita metoda za izboljšanje kakovosti učne podpore ter razvoj cenovno dostopnih in personaliziranih virtualnih inštruktorjev.20262026-04-14 14:10:03Magistrsko delo/naloga181721VisID: 63157COBISS_ID: 279207171sl