20.500.12556/RUL-170762 Zmanjševanje velikosti jezikovnih modelov s kvantizacijo Reducing the size of language models through quantization Veliki jezikovni modeli, kot je BERT, so preobrazili obdelavo naravnega jezika, vendar njihova velika velikost in računska zahtevnost ovirata njihovo širšo uporabo, zlasti na napravah z omejenimi viri. Ta diplomska naloga obravnava problem zmanjševanja velikosti jezikovnih modelov z uporabo kvantizacije, tehnike, ki zmanjšuje številsko predstavitev uteži in aktivacij modela. Osredotoča se na metode kvantizacije po učenju (PTQ), natančneje na dinamično in statično kvantizacijo, ki sta implementirani in ovrednoteni na klasifikacijskem modelu BERT z uporabo knjižnice ONNX Runtime. Teoretično je predstavljena tudi kvantizacija med učenjem (QAT), ter ostale pogosto uporabljene metode zmanjševanja velikosti jezikovnih modelov. Analiziran je vpliv tehnike PTQ na velikost modela, hitrost sklepanja in napovedno natančnost. Rezultati kažejo, da kvantizacija znatno zmanjša velikost modela in pospeši sklepanje. Dinamična kvantizacija pri modelu BERT doseže dobro ravnovesje med kompresijo in ohranjanjem natančnosti, medtem ko osnovna statična kvantizacija povzroči opazno poslabšanje zmogljivosti. Delo tako ponuja pregled tehnik kvantizacije in praktično oceno kompromisov pri uporabi kvantizacije po treniranju na modelu BERT. Large language models such as BERT have transformed natural language processing, but their large size and computational complexity hinder their widespread use, especially on resource-constrained devices. This thesis addresses the problem of reducing the size of language models using quantization, a technique that reduces the numerical representation of model weights and activations. It focuses on post-training quantization (PTQ) methods, specifically dynamic and static quantization, implemented and evaluated on the BERT classification model using the ONNX Runtime Library. Quatization aware training (QAT) is also theoretically presented, as well as other commonly used methods for reducing the size of language models. The impact of implemented PTQ methods on model size, inference speed and predictive accuracy is analyzed. The results show that quantization significantly reduces model size and speeds up inference. Dynamic quantization in the BERT model achieves a good balance between compression and accuracy preservation, while basic static quantization results in a noticeable performance degradation. The work thus provides an overview of quantization techniques and a practical assessment of the trade-offs in applying quantization after training on the BERT model. jezikovni model BERT kvantizacija po učenju kvantizacija med učenjem zmanjševanje porabe pomnilnika pohitritev sklepanja language Model BERT post training quantization quantization aware training lower memory usage faster inference true false false Slovenski jezik Angleški jezik Diplomsko delo/naloga 2025-07-15 11:10:00 2025-07-15 11:10:07 2025-07-28 07:03:57 0000-00-00 00:00:00 2025 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 38016 243967747 Premus_Luka_-_Zmanjsevanje_velikosti_jezikovnih_modelov_s_kvantizacijo.pdf Premus_Luka_-_Zmanjsevanje_velikosti_jezikovnih_modelov_s_kvantizacijo.pdf 1 38BDDE13BC6DCE81EDECB6245A7984AC 2dacd9f396a17d00eeb2412b79d8166b7872540809e935913d86acc83498d4ce 900e81e5-6159-11f0-b232-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=212938 Fakulteta za računalništvo in informatiko 0 0 0