Preserving Gender Privacy in Remote Face Verification with Human-Machine Evaluation

Raza, Ashir (author), Peer, Peter (mentor), Rot, Peter (comentor)

Faces reveal more than identity: they also carry soft biometric attributes such as gender. Soft biometric privacy-enhancing techniques (SB-PETs) modify biometric data to make such attributes harder to infer while preserving their utility for identity verification. Existing fusion-based SB-PETs, which fuse facial regions from an opposite-gender face, are evaluated mostly against automated classifiers, leaving open whether the enhancement also holds when a human views the same image. We focus on gender and propose PriDSS++, an extension of PriDSS that pairs each face with a ranked set of opposite-gender candidates, transfers the selected partner’s gender-contextual regions, and keeps identity-critical regions intact. A rank-based fallback selects the next candidate when needed to enforce both privacy and identity preservation. Unlike prior fusion-based work, PriDSS++ is positioned in a remote client-server setting in which a human operator may later inspect the stored enhanced images, a scenario that existing evaluations do not address. PriDSS++ reduces gender classification performance from an area under the ROC curve (AUC) of 0.990 to 0.561 while preserving identity verification. Two perception studies with 93 and 50 participants, respectively, rate its images as near-photorealistic and identity-preserving. However, participants could still identify gender, even in images for which the classifier was maximally uncertain. Deceiving a classifier therefore does not imply deceiving a human observer, so soft-biometric privacy enhancement should be evaluated against both.

• Language: English
• Keywords: face recognition, soft biometrics, privacy, computer vision, human perception
• Work type: Master's thesis
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2026
• PID: 20.500.12556/RUL-190755
• Publication date in RUL: 03.11.2026

Secondary language

• Language: Slovenian
• Title: Ohranjanje zasebnosti spola pri preverjanju obrazov na daljavo z avtomatskim in človeškim ovrednotenjem

Abstract

Z obraza je poleg identitete mogoče razbrati tudi mehke biometrične značilnosti, kot je spol osebe. Metode SB-PET (angl. soft biometric privacy-enhancement techniques) biometrične podatke spremenijo tako, da je iz njih težko razbrati mehke biometrične značilnosti, hkrati pa ostanejo uporabni za preverjanje identitete. Sodobne metode SB-PET se običajno vrednotijo zgolj z avtomatskimi razvrščevalniki, kar odpira vprašanje, ali je zasebnost enako učinkovito zaščitena tudi takrat, ko biometrične podatke presoja človek. V našem delu se osredotočamo na spol in predlagamo PriDSS++, razširitev metode PriDSS, ki vsak obraz poveže z urejenim seznamom najbolj podobnih obrazov nasprotnega spola. Metoda nato prenese področja obraza, pomembna za zaznavo spola, pri čemer ohrani področja, ključna za identiteto. Če izboljšanje zasebnosti z uporabo najpodobnejšega kandidata ni uspešno, metoda uporabi naslednjega kandidata s seznama, s čimer zagotavlja tako zaščito zasebnosti kot tudi ohranjanje identitete. Metodo umestimo v oddaljeno odjemalsko-strežniško okolje, kjer lahko slike z izboljšano zasebnostjo naknadno pregleda človeški operater; obstoječa vrednotenja takšnega scenarija ne obravnavajo. PriDSS++ zmanjša uspešnost razvrščanja spola z vrednosti AUC 0,990 na 0,561, hkrati pa ohrani uspešnost preverjanja identitete. Dve študiji s 93 oziroma 50 udeleženci pokažeta, da so slike ocenjene kot skoraj fotorealistične in da ohranjajo identiteto, vendar so ljudje še vedno lahko prepoznali spol, tudi na slikah, na katerih je bil razvrščevalnik najbolj negotov. Zavajanje razvrščevalnika še ne pomeni nujno, da bo zaveden tudi človek, zato je treba metode za izboljšanje zasebnosti mehkih biometričnih značilnosti ovrednotiti z vidika razvrščevalnikov in ljudi.

• Keywords: razpoznavanje obrazov, mehke biometrične značilnosti, zasebnost, računalniški vid, človeško zaznavanje