Stiskanje velikih jezikovnih modelovBurkeljca, Jure (Avtor) Robnik Šikonja, Marko (Mentor) Vreš, Domen (Komentor) veliki jezikovni modelistiskanje velikih jezikovnih modelovstrukturno obrezovanje velikih jezikovnih modelovkvantizacijadestilacija znanjametoda učitelj-učenecStrukturno obrezovanje velikih jezikovnih modelov (VJM) v kombinaciji z destilacijo znanja in kvantizacijo predstavlja učinkovit pristop za pridobivanje manjših in računsko učinkovitejših velikih jezikovnih modelov. Obrezovanje zmanjša število parametrov oziroma velikost VJM-ja, destilacija znanja omogoča ohranjanje njegove zmogljivosti, kvantizacija pa z uporabo nižje numerične natančnosti dodatno zmanjša porabo pomnilnika in računske zahteve, zlasti med izvajanjem VJM-ja. Preizkusili smo 10 različnih kombinacij obrezovanja v širino in globino ter 2 vrsti kvantizacije, FP8 in NVFP4. Vse različice smo ovrednotili s pomočjo Slovenian LLM Eval, podatke o hitrosti ter učinkovitosti pa smo pridobili s pomočjo knjižnice vLLM. V eksperimentu pokažemo, da je med obravnavanimi pristopi strukturnega obrezovanja v povezavi s kratko destilacijo znanja najučinkovitejše zmanjševanje širine VJM, hkrati pa rezultati potrjujejo visoko učinkovitost kvantizacije v formatu FP8. Na podlagi ugotovitev predlagamo tri pristope za učinkovito stiskanje VJMjev in pripravimo VJM z 8 milijardami parametrov, ki je glede na GaMS3 12B 62,3 % manjši, 84,2 % hitrejši in porabi 53,1 % manj energije, ob 12,8 % nižji kakovosti. Destiliran je bil na približno 2 milijardah žetonov.20262026-09-14 16:40:03Diplomsko delo/naloga187808sl