Synthetic Data Generation for Face Anti-Spoofing Using Conditional Generative Models

Subhan, Ali (avtor), Peer, Peter (mentor), Emeršič, Žiga (komentor), Sabadin, Jernej (komentor)

Face anti-spoofing (FAS) systems achieve strong performance when train ing and evaluation data originate from the same dataset, yet their accuracy often deteriorates sharply under domain shift. Existing domain-generalisation research has primarily addressed this problem through new architectures and learning objectives, while comparatively little attention has been given to improving the diversity and composition of the training data. Moreover, prior generative approaches may require the identities used for synthesis to have been observed during generator training. This thesis investigates a data-centric approach based on instruction-guided image-to-image diffusion. Dataset-specific LoRA adapters are trained on FLUX.1-Kontext to learn presentation-attack transformations from paired live and spoof images. The learned transformations are then applied to live faces from other datasets, generating identity-preserving cross-domain spoofs that combine the identity and capture conditions of one domain with the attack characteristics of another. Synthetic samples are added exclusively to the source domains of the standard leave-one-domain-out OCIM protocols, thereby preserving the domain-generalisation setting. The proposed augmentation strategy is evaluated at several synthetic-to-real-spoof ratios using three architecturally distinct FAS models: the semantic, CLIP-based FLIP-MCL and GD-FAS models, and the texture-oriented SSAN model. The results reveal a clear representation-dependent effect. Semantic models generally benefit from synthetic augmentation, particularly on difficult transfer protocols; for ex ample, GD-FAS reduces mean HTER on OCM→I from 10.50% to 3.50%. Small augmentation ratios of 10–25% are typically more effective than larger doses, whereas SSAN does not improve consistently. These findings show that instruction-guided diffusion can strengthen cross-domain FAS, provided that the quantity of synthetic data and the detector’s underlying representation are carefully considered.

• Jezik: Angleški jezik
• Ključne besede: deep learning, biometrics, face anti-spoofing, generative models, diffusion models, conditional generation, synthetic datasets
• Vrsta gradiva: Magistrsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2026
• PID: 20.500.12556/RUL-190757
• Datum objave v RUL: 03.11.2026

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Generiranje sintetičnih podatkov za preprečevanje prevar pri prepoznavanju obrazov z uporabo pogojnih generativnih modelov

Izvleček

Sistemi za preprečevanje prevar pri prepoznavanju obrazov dosegajo zelo dobre rezultate, kadar učni in testni podatki izvirajo iz istega podatkovnega nabora, vendar se njihova uspešnost pogosto občutno poslabša pri prenosu na podatke iz druge domene. Dosedanje raziskave na področju domenske posplošitve so ta problem večinoma obravnavale z razvojem novih arhitektur in učnih pristopov, medtem ko je bilo precej manj pozornosti namenjene raznolikosti in sestavi učnih podatkov. Poleg tega nekateri obstoječi generativni pristopi zahtevajo, da so bile identitete, uporabljene pri generiranju, že prisotne med učenjem generativnega modela. Ta magistrska naloga obravnava podatkovno usmerjen pristop, ki temelji na z besedilnimi navodili vodenem difuzijskem modelu za pretvorbo slike v sliko. Za model FLUX.1-Kontext so naučeni adapterji LoRA, prilagojeni posameznim podatkovnim naborom, ki se iz parov živih in ponarejenih obraznih posnetkov naučijo transformacij, značilnih za predstavitvene napade. Naučene transformacije se nato uporabijo na živih obrazih iz drugih podatkovnih naborov, pri čemer nastanejo sintetični meddomenski vzorci prevar, ki ohranijo identiteto in pogoje zajema iz ene domene, hkrati pa prevzamejo značilnosti napada iz druge. Sintetični vzorci so vključeni izključno v učne podatke izvornih domen, medtem ko podatki ciljne domene med učenjem niso uporabljeni. S tem je ohranjena standardna nastavitev domenske posplošitve po protokolu OCIM, pri katerem je ena domena izključena iz učnega postopka. Predlagani pristop je ovrednoten pri različnih razmerjih med sintetičnimi in resničnimi vzorci prevar ter na treh arhitekturno različnih modelih FAS: semantičnih modelih FLIP-MCL in GD-FAS, ki temeljita na modelu CLIP, ter teksturno usmerjenem modelu SSAN. Rezultati kažejo, da je učinek sintetičnega razširjanja podatkov odvisen od vrste predstavitve, na kateri temelji posamezni model. Semantična modela imata od takšnega razširjanja podatkov praviloma korist, zlasti pri zahtevnejših meddomenskih protokolih; pri protokolu OCM→I se na primer povprečna vrednost HTER pri modelu GD-FAS zmanjša z 10,50 % na 3,50 %. Manjši deleži sintetičnih podatkov, med 10 % in 25 %, so praviloma učinkovitejši od večjih, medtem ko se uspešnost modela SSAN ne izboljša dosledno. Ugotovitve kažejo, da lahko z besedilnimi navodili vodeno razširjanje podatkov z difuzijskim modelom izboljša meddomensko preprečevanje prevar pri prepoznavanju obrazov, vendar je njegova učinkovitost odvisna od količine sintetičnih podatkov in načina, kako detektor predstavlja vhodne podatke.

• Ključne besede: globoko učenje, biometrija, preprečevanje prevar pri prepoznavanju obrazov, generativni modeli, difuzijski modeli, pogojno generiranje, sintetični podatkovni nabori