Neuroevolucija adapterjev za velike jezikovne modelePerman, Katarina (Avtor) Robnik Šikonja, Marko (Mentor) velik jezikovni modeladapterneuroevolucijagenetski algoritmiNaloga obravnava problem postavljanja adapterjev v velike jezikovne modele za doseganje čim boljših rezultatov. Dandanes so veliki jezikovni modeli ključno orodje za procesiranje naravnega jezika. Uporabljamo jih lahko za vrsto nalog, a jih moramo za te naloge najprej prilagoditi. Učenje celotnega modela, ki je pogosto zelo velik, je računsko drago in časovno zamudno, zato namesto tega uporabljamo adapterje, ki jih moramo postaviti na prava mesta v zgradbi velikega jezikovnega modela in jim izbrati pravilne hiperparametre, da so uspešni. Problema se lotimo z uporabo genetskih algoritmov, saj bi za preiskavo vseh možnih konfiguracij potrebovali preveč časa. S tem ne pridobimo le konkretnih rešitev, ampak tudi vpogled v vzorce konfiguracij, ki se pojavljajo v boljših rešitvah. To smo preizkusili na modelu BERT z adapterjem LoRA za klasifikacijo čustev. Ugotovimo, da je večanje ranga v adapterju bolj učinkovito kot spreminjanje postavitve, a večji rang pomeni več parametrov, zato moramo ob tem biti previdni. Naši rezultati kažejo tudi, da je v našem primeru največja smiselna količina parametrov adapterja do 5% količine parametrov originalnega modela, saj več parametrov ne pripomore več k višji natančnosti, in da je najboljša možna natančnost za neko velikost adapterja omejena navzgor.20252025-09-15 14:30:00Diplomsko delo/naloga173303sl