Face deidentification with generative neural networks

Meden, Blaž (author), Peer, Peter (mentor), Štruc, Vitomir (comentor)

Advancements in image-based biometrics and the increasing reliance on facial data have raised concerns regarding privacy protection and the potential misuse of personal information. Face deidentification techniques have emerged as a promising approach to mitigate privacy risks while preserving data utility. This thesis investigates the application of generative neural networks for facial synthesis to achieve effective face deidentification while maintaining the usefulness of the data for subsequent biometric analysis. The primary objective of this research is to develop novel techniques for face deidentification using generative neural networks. By leveraging generative deep learning algorithms, realistic synthetic faces are generated, which substitute the source facial features while preserving essential non-identity-related characteristics. Privacy protection is a critical aspect of this research, with a focus on deidentifying facial images to prevent unauthorized identification of individuals. Various techniques such as face swapping, the utilization of formal privacy mechanisms, preservation of facial attributes, and identity suppression are explored to ensure that the synthesized faces remain untraceable while maintaining their realistic appearance and data utility for further analysis. Furthermore, the thesis addresses the challenges of evaluating the effectiveness of face deidentification techniques in terms of both privacy protection and data utility. Metrics and benchmarks are presented to quantify the level of anonymity achieved while measuring the impact on data utility through the analysis of preserved facial attributes. The evaluation process involves comparing recognition accuracy, facial attribute classification performance, and other image quality metrics on deidentified face images against the source facial images. The findings of this thesis contribute to advancing face deidentification and privacy protection of biometric data, providing competitive practical solutions for face deidentification by utilizing state-of-the-art generative models.

• Language: English
• Keywords: face deidentification, generative neural networks, facial synthesis, privacy protection, data utility, image-based biometrics
• Work type: Doctoral dissertation
• Typology: 2.08 - Doctoral Dissertation
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2023
• PID: 20.500.12556/RUL-152341
• COBISS.SI-ID: 174469891
• Publication date in RUL: 21.11.2023

Secondary language

• Language: Slovenian
• Title: Deidentifikacija obrazov z generativnimi nevronskimi mrežami

Abstract

Napredek na področju slikovne biometrije in razširjena analiza obraznih slik vzbujata zaskrbljenost glede varovanja zasebnosti in potencialnih možnosti za zlorabo osebnih podatkov. Tehnike deidentifikacije obrazov so se izkazale kot obetavna skupina pristopov za zmanjšanje tveganja pri varovanju zasebnosti ob hkratnem ohranjanju bistvenih obraznih značilnosti. Ta disertacija preuči uporabo generativnih nevronskih mrež za sintezo obrazov z namenom doseganja učinkovite deidentifikacije obrazov ob ohranjanju uporabnosti podatkov za nadaljnjo biometrično analizo. Glavni cilj te disertacije je razviti nove tehnike za deidentifikacijo obrazov s pomočjo generativnih nevronskih mrež. Z uporabo generativnih algoritmov iz področja globokega učenja je mogoče generirati realistične sintetične obraze, ki zamenjajo izvirne osebnostne značilnosti obraza, hkrati pa ohranjajo lastnosti, ki niso vezane na izvorno identiteto. Zaščita zasebnosti je ključen vidik teh raziskav, pri čemer je poudarek na deidentifikaciji slik obraza, z namenom onemogočanja nepooblaščenega prepoznavanja posameznikov. V disertaciji se preučijo različne tehnike, osnovane na zamenjavi obrazov, uporabi formalnih mehanizmov zasebnosti, ohranjanju obraznih atributov in zakrivanju izvorne identitete, z zagotovilom, da postanejo sintetizirani obrazi nerazpoznavni, hkrati pa ohranjajo realističen videz in uporabnost atributov za nadaljnjo analizo. Disertacija se ukvarja tudi z izzivi vrednotenja učinkovitosti tehnik za deidentifikacijo obrazov, ob upoštevanju kriterijev zaščite zasebnosti in uporabnosti podatkov. Predstavljene so metrike in protokoli vrednotenja, s katerimi se oceni dosežena stopnja anonimnosti in izmeri vpliv na uspešnost ohranjanja uporabnosti podatkov preko analize ohranjenih obraznih atributov. Proces vrednotenja vključuje primerjavo natančnosti prepoznavanja, uspešnosti klasifikacije obraznih lastnosti in splošnih metrik za merjenje kakovosti slike med deidentificiranimi slikami obraza in izvirnimi obraznimi slikami. Ugotovitve te disertacije prispevajo k napredku na področju deidentifikacije obrazov in zaščite zasebnosti biometričnih podatkov ter ponujajo konkurenčne praktične rešitve za deidentifikacijo obrazov z uporabo najnovejših generativnih modelov.

• Keywords: deidentifikacija obrazov, generativne nevronske mreže, sinteza obrazov, varovanje zasebnosti, uporabnost podatkov, slikovna biometrija