Natančno napovedovanje klikov je ključnega pomena za uspeh spletnega oglaševanja v industriji ralno-časovnih dražb. V tem delu je naš cilj izvesti temeljito primerjavo in vrednotenje modelov za napovedovanje verjetnosti klika, ki so pogosto uporabljeni v industriji. Naša prednost je v enotni implementaciji modelov, ki omogoča pošteno in celovito primerjavo modelov, pri čemer je najpomembnejši prispevek te naloge produkcijski A/B test.
Evalvirali smo več modelov za napovedovanje verjetnosti klika. Naši rezultati v testnem okolju so pokazali, da model DCN-V2 dosega boljše rezultate kot druga dva modela v smislu logaritmične funkcije izgube. Vendar pa so bili modeli zaradi domenskih omejitev podvrženi podprilagajanju. Pokazali smo, da je model DCN-V2 znova najboljši, saj je nanj podprilaganjanje imelo manjši učinek.
Analizo smo opravili tako na prosto dostopnih kot zasebnih podatkih podjetja Outbrain in dosegli konsistentne rezultate.
Dodatno smo opravili A/B test na produkcijskem prometu podjetja Outbrain, ki je platforma za povpraševanje v ekosistemu realno-časovnih dražb. Pokazali smo, da je model DCN-V2 dosegel boljše rezultate kot model, ki temelji na metodi DeepFM, in da je povečal prihodke za 5,8\%.
|
