Privacy-preserving face analytics using deep learning methods

Rot, Peter (avtor), Štruc, Vitomir (mentor), Peer, Peter (komentor)

The rapid advancements in face analytics have enabled a wide range of applications, from identity verification to expression analysis and personalized services. In addition to identity information, these technologies can extract various soft-biometric attributes such as gender, ethnicity, age, and body mass index (BMI), providing valuable insights for different domains. However, the extraction of these attributes raises significant privacy and data protection concerns. To achieve a balance between the benefits and risks of face analytics, it is essential to develop privacy-enhancing techniques that safeguard individuals' privacy rights while responsibly utilizing facial data. De-identification methods, known for concealing identity-related features, are well-recognized examples of such approaches. However, a relatively lesser-studied group of privacy-enhancing methods has recently emerged, known as soft-biometric privacy-enhancing techniques (SB-PETs). In contrast to de-identification methods, SB-PETs aim to retain identity information while preventing the extraction of soft-biometric attributes. In recent years, several SB-PET methods have been proposed to eliminate information about soft-biometrics at different levels of the biometric pipeline, including the image- and representation-level. However, there are still many open and crucial research questions regarding these techniques. For instance, how can the evaluation of SB-PETs be conducted efficiently and comprehensively? How can their effects on images be detected? To what degree can information about individual soft-biometric characteristics be eliminated without critically affecting recognition performance? Can the privacy of multiple soft-biometrics be efficiently enhanced simultaneously? In this work, we address these questions and make the following scientific contributions: 1. We present a novel evaluation methodology, PrivacyProber, to assess existing image-level SB-PETs, revealing their vulnerability to reconstruction attacks. We investigate the robustness of soft-biometric privacy techniques against attribute recovery attempts, highlighting variations in their effectiveness. Using the newly proposed attribute-recovery robustness (ARR), we evaluate the robustness of SB-PETs by comparing attribute-classification accuracy between original and reconstructed images. 2. We propose a new detection approach, APEND (Evidence Aggregation for Privacy-Enhancement Detection), which effectively identifies privacy-enhanced images and outperforms existing detectors. The main advantage of APEND is that it operates under a black-box assumption that requires no knowledge or information about the specific SB-PET being employed. 3. We present PriDSS (Privacy through Fusion of Disentangled Spatial Segments), a novel image-level SB-PET, that effectively protects the gender attribute while maintaining the visual quality of facial images. PriDSS employs image fusion to combine identity-related facial parts (i.e., eyes, mouth, nose, etc.) with contextual information from the opposite gender that result in images that confuse machine classifiers and minimize modification traces. The generated images outperform the competing PrivacyNet model in term of photorealism. 4. We propose PFRNet (Privacy-enhancing Face-representation Learning Network), a representation-level method that effectively disentangles binary-defined facial attributes from face verification templates obtained using state-of-the-art face recognition models. PFRNet can be applied to various face verification templates and, in this regard, is not limited to a specific method for extrating these templates from faces. Feature disentanglement proves to be an effective approach for soft-biometric privacy enhancement. 5. We also introduce ASPECD (Adaptable Soft-biometric Privacy–Enhancement using Centroid Decoding), a representation-level SB-PET that enables controllable privacy-enhancement of multiple soft-biometric characteristics. ASPECD is built on multiple components, each dedicated to an individual soft-biometric modality. We extend PFRNet to be suitable for the privacy-enhancement of categorical soft-biometric characteristics. Finally, we evaluate ASPECD on gender and ethnicity, compare it with the state-of-the-art approach MultiIVE, and report promising results.

• Jezik: Angleški jezik
• Ključne besede: analiza obraza, zasebnost, mehke biometrične značilnosti, identifikacija, globoko učenje
• Vrsta gradiva: Doktorsko delo/naloga
• Tipologija: 2.08 - Doktorska disertacija
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2024
• PID: 20.500.12556/RUL-166838
• COBISS.SI-ID: 224463107
• Datum objave v RUL: 27.01.2025

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Ohranjanje zasebnosti pri analizi obrazov z uporabo globokega učenja

Izvleček

Hiter napredek tehnologij za analizo obrazov je omogočil široko množico novih, posamezniku prilagojenih storitev in aplikacij, ki vključujejo preverjanje identitete in analizo obrazne mimike. Poleg informacije o identiteti lahko tovrstne tehnologije iz obraza napovejo tudi mehke biometrične značilnosti, kot so na primer spol, etnična pripadnost, starost in indeks telesne mase. Samodejna analiza obrazov omogoča mnoge koristne uporabe, hkrati pa sproža tudi pomembne pomisleke glede zasebnosti in varstva osebnih podatkov. Da bi pri analizi obrazov dosegli ustrezno ravnovesje med koristmi in tveganji, je potrebno razviti metode za varovanje pravice do zasebnosti in odgovorno uporabljati biometrične podatke o obrazih. Dobro poznan primer takšnih metod so postopki za deidentifikacijo, ki prikrivajo značilnosti, ki so povezane z identiteto osebe na sliki. Nedavno pa se je pojavila manj raziskana skupina metod za izboljšanje zasebnosti, ki se ukvarjajo s prikrivanjem mehkih biometričnih značilnosti, pri čemer je cilj ohraniti informacijo o identiteti. Tovrstne metode označujemo s kratico SB-PETs (angl. soft-biometric privacy-enhancing techniques, metode za izboljšanje zasebnosti mehkih biometričnih značilnosti). V zadnjih letih se je pojavilo veliko novih SB-PET metod, ki informacijo o mehkih biometričnih značilnostih odstranjujejo na različnih nivojih biometričnega cevovoda, na primer na nivoju slike ali predstavitve. Še vedno pa so v zvezi z njimi odprta številna pomembna vprašanja, kot na primer: Kako učinkovito in celostno ovrednotiti delovanje SB-PET metod? Kako detektirati njihovo uporabo? Do kolikšne mere je mogoče odstraniti informacijo o posamezni mehki biometrični značilnosti, preden kritično vplivamo na zmožnost razpoznavanja? Ali lahko učinkovito izboljšamo zasebnost večjega števila mehkih biometričnih značilnosti? V tem delu naslavljamo zgoraj omenjena vprašanja z naslednjimi izvirnimi prispevki k znanosti: 1. Predstavljamo PrivacyProber (preizkuševalec izboljšane zasebnosti), novo metodologijo za ocenjevanje SB-PET metod, ki delujejo na nivoju slike. S PrivacyProber-jem razkrijemo in ovrednotimo ranljivost obstoječih SB-PET metod na napade z obnovo. Z uporabo predlagane odpornosti na obnovo atributov (angl. attribute recovery robustness, ARR) ovrednotimo in primerjamo obstoječe SB-PET metode. 2. Predstavimo detektor APEND (angl. Evidence Aggregation for Privacy-Enhancement Detection, združevanje dokazov za detekcijo uporabe metod za izboljšanje zasebnosti), ki učinkovito detektira slike z izboljšano zasebnostjo in pri tem preseže obstoječe detektorje. Prednost predlaganega detektorja APEND je, da ne potrebuje v naprej podane informacije o delovanju SB-PET metod, kar pomeni, da je uporaben v scenariju črne škatle (angl. black-box scenario). 3. Predlagamo PriDSS (angl. Privacy through Fusion of Disentangled Spatial Segments, postopek za izboljšanje zasebnosti z uporabo zlivanja prostorskih segmentov), novo SB-PET metodo, ki deluje na nivoju slike. PriDSS učinkovito izboljša zasebnost informacije o spolu, ohranja identiteto in zagotavlja visoko kakovost slik. Metoda temelji na zlivanju obraznih delov, ki nosijo večino informacije o identiteti (npr. oči z okolico, nos in usta) s širšim kontekstom obraza od nasprotnega spola. PriDSS ustvari fotorealistične slike, iz katerih samodejni razvrščevalniki za napovedovanje spola ne morejo zanesljivo razbrati informacije. 4. Predlagamo SB-PET metodo PFRNet (angl. Privacy-Enhancing Face-Representation Learning Network, mreža za izboljšanje zasebnosti z razpletanjem značilk iz predstavitev obrazov), ki iz predlog za preverjanje (tj. verifikacijo) obraza učinkovito ločuje binarno opredeljene mehke biometrične značilnosti. PFRNet je mogoče uporabiti na predstavitvah iz različnih modelov za razpoznavnaje obrazov, kar zagotavlja vsestranskost njegove uporabe pri izboljšanju zasebnosti. 5. Predlagamo ASPECD (angl. Adaptable Soft-biometric Privacy–Enhancement Using Centroid Decoding, nastavljivo izboljšanje zasebnosti z dekodiranjem centroida), SB-PET metodo za izboljšanje zasebnosti večjega števila mehkih biometričnih značilnosti, ki deluje na nivoju predstavitve. Metoda temelji na zaporedni vezavi večjega števila komponent, pri čemer se vsaka od njih osredotoča na eno mehko biometrično značilnost. Poleg binarno opredeljenih mehkih biometričnih značilnosti je ASPECD primeren tudi za kategorično opredeljene značilnosti. S postopkom ASPECD izboljšamo zasebnost spola in etnične pripadnosti. Z metodo ASPECD dosežemo vzpodbudne rezultate, ki so primerljivi ali boljši od rezultatov, ki jih dobimo z najbolj sodobnimi SB-PET metodami.

• Ključne besede: face analytics, privacy, soft-biometrics, identification, deep learning