Feature embedding in click-through rate prediction

Pahor, Samo (author), Demšar, Jure (mentor)

Online advertising allows companies to reach a worldwide user base and engage key demographics to market their products. The cornerstone of modern online advertising is participating in real-time bidding (RTB) auctions, where ad space on websites is being dynamically sold to the highest bidder. A key part of RTB auctions is predicting click-through rate (CTR), or the probability that a user will click on a displayed ad. CTR prediction is performed with machine learning, where click responses are modeled based on a diverse set of contextual and historical features. We tackle the challenge of feature embedding for the purposes of improving the CTR prediction process. We focus on two popular prediction models, logistic regression and factorization machines, and propose different feature embedding modules to improve CTR prediction. We test the predictive performance of our augmented models on an offline dataset, which resembles production data, provided by Zemanta. Our results show that several proposed embedding modules provide an important increase in predictive performance without a drastic increase in training time or model size.

• Language: English
• Keywords: real-time bidding, click-through rate prediction, feature embedding, feature transformation
• Work type: Master's thesis/paper
• Typology: 2.09 - Master's Thesis
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2021
• PID: 20.500.12556/RUL-133259
• COBISS.SI-ID: 87422467
• Publication date in RUL: 18.11.2021

Secondary language

• Language: Slovenian
• Title: Vložitev značilk pri napovedovanju verjetnosti klika

Abstract

Spletno oglaševanje podjetjem omogoča stik z uporabniki iz vsega sveta in marketing njihovih izdelkov ustreznim tržnim segmentom. Temelj modernega spletnega oglaševanja je sodelovanje na realnočasovnih (RTB) avkcijah, kjer se reklamni prostor na spletnih straneh dinamično prodaja najvišjim ponudnikom. Ključni del RTB avkcij je napovedovanje klikov (CTR), oziroma računanje verjetnosti, da bo uporabnik kliknil na prikazani oglas. CTR napovedovanje se izvaja s pomočjo strojnega učenja, kjer so kliki modelirani s pomočjo širokega nabora kontekstualnih in zgodovinskih značilk. Lotimo se vložitve značilk za potrebe izboljšanja CTR napovednega procesa. Osredotočimo se na dva popularna napovedna modela, logistično regresijo in faktorizacijske stroje, in predlagamo različne vložitvene module za izboljšanje končne napovedi. Napovedno točnost nadgrajenih modelov izmerimo na lokalnih podatkih podjetja Zemanta, ki so podobni produkcijskemu okolju. Naši rezultati kažejo, da več predlaganih modulov izboljša napovedno točnost brez bistvenega podaljšanja učnega časa ali velikosti modela.

• Keywords: realnočasovne avkcije, napovedovanje klika, vložitev značilk, pretvorba značilk