Estimating and mitigating demographic bias in biometric systems

Vovk, Klemen (author), Emeršič, Žiga (mentor), Grm, Klemen (comentor)

Face recognition systems are reaching superhuman levels of accuracy but remain uneven across demographic groups. This thesis tackles demographic bias with a data-centric method: identity-preserving face swapping to build large synthetic datasets where each identity is equally represented across gender and ethnicity. Using a U-Net with FiLM conditioning, we generate and validate a two million-image dataset (based on BUPT-BalancedFace) via failure analysis, face-image quality metrics, and embedding-space comparisons. Fine-tuning ArcFace and AdaFace on this data reduces inter-group error disparities per standardized metrics, at some cost to verification accuracy. Versus fine-tuning on real balanced data, synthetic augmentation yields lower absolute accuracy but measurable fairness gains without extensive demographically labeled data—highlighting both the promise and limits of synthetic data for bias mitigation.

• Language: English
• Keywords: face recognition, demographic bias, synthetic data, identity-preserving face swapping, bias mitigation
• Work type: Master's thesis/paper
• Typology: 2.09 - Master's Thesis
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2025
• PID: 20.500.12556/RUL-171823
• COBISS.SI-ID: 248348419
• Publication date in RUL: 03.09.2025

Secondary language

• Language: Slovenian
• Title: Ocenjevanje in zmanjševanje demografske pristranskosti v biometričnih sistemih

Abstract

Sistemi za razpoznavo obrazov dosegajo nadčloveško raven natančnosti, vendar ostajajo neenakomerni med demografskimi skupinami. To delo obravnava demografsko pristranskost s podatkovno usmerjeno metodo: z zamenjavo obrazov ob ohranjeni identiteti gradimo velike sintetične podatkovne zbirke, kjer je vsaka identiteta enakomerno zastopana glede na spol in etnično pripadnost. Z uporabo mreže U-Net s FiLM-pogojevanjem ustvarimo in validiramo podatkovno zbirko z dvema milijonoma slik (na osnovi BUPT-BalancedFace) prek metrik kakovosti obraznih slik in primerjav v vdelavnem prostoru. Nadaljnje prilagajanje modelov ArcFace in AdaFace na teh podatkih zmanjša razlike v napakah med skupinami glede na standardizirane metrike, čeprav deloma na račun natančnosti preverjanja. V primerjavi z nadaljnjim prilagajanjem na realnih uravnoteženih podatkih sintetična razširitev sicer prinaša nižjo absolutno natančnost, a hkrati merljive izboljšave pravičnosti brez obsežnih demografsko označenih podatkov, kar poudarja tako obetavnost kot omejitve sintetičnih podatkov pri omilitvi pristranskosti.

• Keywords: prepoznavanje obrazov, demografska pristranskost, sintetični podatki, ohranjanje identitete pri zamenjavi obrazov, zmanjševanje pristranskosti