Evaluation of quantization methods for deep learning models

Prosenc, Urh (avtor), Demšar, Jure (mentor), Škrlj, Blaž (komentor)

Click-through rate (CTR) prediction is a cornerstone of modern digital advertising, yet the increasing complexity of models like DeepFM and Deep & Cross Network v2 (DCNv2) introduces significant computational overhead in production environments. This thesis systematically evaluates model quantization as a solution to reduce memory footprint and inference latency while maintaining predictive accuracy. We investigate two primary paradigms: Post-Training Quantization (PTQ) and Quantization- Aware Training (QAT), further augmenting the latter with Knowledge Distillation (KD). Our experiments across three large-scale datasets—Criteo, Avazu, and Teads—demonstrate that while PTQ offers a fast deployment path with minimal accuracy loss in certain configurations (e.g., reaching baseline AUC on the Teads dataset), it is highly sensitive to calibration methods and dataset characteristics. We show that QAT, particularly when resolving framework limitations for custom layers through manual annotation, provides a more robust but computationally intensive alternative. The results provide a comprehensive benchmark for deploying quantized CTR models, highlighting that the optimal quantization strategy is deeply dependent on the specific architectural components and feature distributions of the recommender system.

• Jezik: Angleški jezik
• Ključne besede: CTR Prediction, Model Quantization, Post-Training Quantization, Quantization-Aware Training
• Vrsta gradiva: Magistrsko delo/naloga
• Tipologija: 2.09 - Magistrsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2026
• PID: 20.500.12556/RUL-182581
• COBISS.SI-ID: 278916611
• Datum objave v RUL: 18.05.2026

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Evalvacija metod za kvantizacijo modelov globokega učenja

Izvleček

Napovedovanje verjetnosti klika (CTR) predstavlja ključni del sodobnega digitalnega oglaševanja. Vendar pa vse kompleksnejši modeli, kot sta DeepFM in DCNv2, v produkcijskih okoljih povzročajo visoke računske stroške in zakasnitve. Magistrsko delo raziskuje metode kvantizacije kot rešitev za optimizacijo inference ob minimalnem vplivu na natančnost napovedi. Primerjamo dva glavna pristopa: kvantizacijo po učenju (PTQ) ter s kvantizacijo seznanjeno učenje (QAT), ki smo ga dodatno izboljšali z uporabo destilacije znanja (KD). Eksperimentalni rezultati na naborih podatkov Criteo, Avazu in Teads kažejo, da PTQ omogoča hitro implementacijo, vendar je njegova učinkovitost močno odvisna od metode kalibracije. Po drugi strani QAT zagotavlja večjo robustnost, vendar hkrati zahteva dodatno učenje modela in specifične prilagoditve arhitektur modelov. Delo ponuja praktične smernice za uvajanje kvantiziranih CTR modelov v produkcijska okolja in ugotavlja, da je izbira optimalne strategije tesno povezana z arhitekturnimi komponentami in naravo vhodnih podatkov.

• Ključne besede: napovedovanje verjetnosti klika, kvantizacija modelov, kvantizacija po učenju, s kvantizacijo seznanjeno učenje