20.500.12556/RUL-187808 Stiskanje velikih jezikovnih modelov Large Language Model Compression Strukturno obrezovanje velikih jezikovnih modelov (VJM) v kombinaciji z destilacijo znanja in kvantizacijo predstavlja učinkovit pristop za pridobivanje manjših in računsko učinkovitejših velikih jezikovnih modelov. Obrezovanje zmanjša število parametrov oziroma velikost VJM-ja, destilacija znanja omogoča ohranjanje njegove zmogljivosti, kvantizacija pa z uporabo nižje numerične natančnosti dodatno zmanjša porabo pomnilnika in računske zahteve, zlasti med izvajanjem VJM-ja. Preizkusili smo 10 različnih kombinacij obrezovanja v širino in globino ter 2 vrsti kvantizacije, FP8 in NVFP4. Vse različice smo ovrednotili s pomočjo Slovenian LLM Eval, podatke o hitrosti ter učinkovitosti pa smo pridobili s pomočjo knjižnice vLLM. V eksperimentu pokažemo, da je med obravnavanimi pristopi strukturnega obrezovanja v povezavi s kratko destilacijo znanja najučinkovitejše zmanjševanje širine VJM, hkrati pa rezultati potrjujejo visoko učinkovitost kvantizacije v formatu FP8. Na podlagi ugotovitev predlagamo tri pristope za učinkovito stiskanje VJMjev in pripravimo VJM z 8 milijardami parametrov, ki je glede na GaMS3 12B 62,3 % manjši, 84,2 % hitrejši in porabi 53,1 % manj energije, ob 12,8 % nižji kakovosti. Destiliran je bil na približno 2 milijardah žetonov. Structured pruning of large language models (LLMs) combined with knowledge distillation and quantization represents an effective approach for obtaining smaller and more computationally efficient language models. Pruning reduces the number of parameters and thus the size of the LLM, knowledge distillation helps preserve its performance, while quantization further reduces memory consumption and computational requirements by using lower numerical precision, particularly during LLM inference. We tested ten different combinations of width and depth pruning, as well as two types of quantization, FP8 and NVFP4. We evaluated all variants using Slovenian LLM Eval, while data on speed and efficiency were obtained using the vLLM library. In the experiment, we show that reducing LLM width is the most effective among the evaluated structural compression approaches when combined with short knowledge distillation, while the results also confirm the high efficiency of quantization to the FP8 format. Based on the findings, we propose three efficient LLM compression approaches and develop an 8Bparameter LLM that is 62.3 % smaller, 84.2 % faster, and uses 53.1 % less energy than GaMS3 12B, with a 12.8 % lower quality score after distillation on only 2B tokens. veliki jezikovni modeli stiskanje velikih jezikovnih modelov strukturno obrezovanje velikih jezikovnih modelov kvantizacija destilacija znanja metoda učitelj-učenec large language models large language model compression structured pruning quantization knowledge distillation teacher–student method true false false Slovenski jezik Angleški jezik Diplomsko delo/naloga 2026-09-14 16:40:03 2026-09-14 16:40:14 2026-09-15 04:27:56 0000-00-00 00:00:00 2026 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 1970-01-01 38652 Burkeljca_Jure_-_Stiskanje_velikih_jezikovnih_modelov.pdf Burkeljca_Jure_-_Stiskanje_velikih_jezikovnih_modelov.pdf 1 26B193F2433C59B92CE156FFCFC1334D 9cddde60c29b586fcbdfe1288ce57beca3e7c8111f2c825477db4acb0614ce9a 2ae08652-b04a-11f1-8bc5-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=247580 Fakulteta za računalništvo in informatiko 0 0 0