Utility of embeddings in multi-modal models for click-through rate prediction

Žnidar, Mark (author), Robnik Šikonja, Marko (mentor), Škrlj, Blaž (comentor), Jakomin, Martin (comentor)

Accurate click-through rate (CTR) prediction under strict real-time bidding latency constraints is central to modern programmatic advertising. Models powering large-scale recommender systems rely on high-cardinality categorical IDs and neglect the rich semantic cues present in ad creatives and page context, limitations that become acute in cold-start setting. This thesis sys- tematically explores the integration of off-the-shelf image and text embed- dings into production-ready CTR models. We introduce three fusion strate- gies (early,intermediate,late), a block-wise multi-optimiser training scheme which reduces training memory by approximately threefold and computa- tional demand by approximately fivefold, and the Aligned Deep & Cross Network,which explicitly aligns categorical and external embedding spaces. Experiments on a large, real-world impression log show consistent lifts of up to 0.69% in relative information gain (RIG) over a highly optimised produc- tion model, with pronounced improvements for previously unseen creatives, all while respecting serving-time budgets.The proposed framework offers a practical path to multi-modal CTR prediction at production scale.

• Language: English
• Keywords: machine learning, click-through rate prediction, programmatic advertising, multi-modal embeddings, real-time bidding
• Work type: Bachelor thesis/paper
• Typology: 2.11 - Undergraduate Thesis
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2025
• PID: 20.500.12556/RUL-171234
• COBISS.SI-ID: 247342339
• Publication date in RUL: 20.08.2025

Secondary language

• Language: Slovenian
• Title: Uporabnost vložitev v večmodalnih modelih za napovedovanje verjetnosti klika na oglas

Abstract

Natančno napovedovanje verjetnosti klika na oglas (angl. click–through rate oz. CTR prediction) ob strogih časovnih omejitvah dražb v realnem času (RTB) je ključnega pomena za sodobno programatično oglaševanje. Modeli, ki poganjajo velike priporočilne sisteme, sicer uspešno izkoriščajo kategorične značilke visokih kardinalnosti, vendar pogosto spregledajo bogate semantične signale, ki jih vsebujejo oglasi in kontekst spletnih strani. Ta omejitev je še posebej opazna, ko v sistem pride nova kreativa (t.i. problem hladnega zag- ona). V tej diplomski nalogi sistematično raziščemo vključevanje slikovnih in besedilnih vložitev v produkcijske CTR modele. Predstavimo tri strate- gije združevanja modalnosti (zgodnjo, vmesno in pozno), razvijemo shemo učenja z več optimizatorji za vsako posamezno podmnožico parametrov, kar zmanjša porabo pomnilnika za približno trikrat ter število potrebnih op- eracij za približno petkrat, in uvedemo novo arhitekturo Aligned Deep& Cross (A-DCN). Empirični poskusi, izvedeni na obsežnem realnem naboru podatkov, kažejo izboljšave do +0,69% relativnega informacijskega pribitka (RIG) v primerjavi z močno optimiziranim produkcijskim modelom. Predla- gani pristopi tako ponujajo praktično izvedljive rešitve za učinkovito multi- modalno napovedovanje CTR v velikih priporočilnih sistemih.

• Keywords: strojno učenje, napovedovanje verjetnosti klika, programatično oglaševanje, večmodalne vložitve, dražbe v realnem času (RTB)