Efficient detection of anomalies in image data

IVANOVSKA PRESKAR, MARIJA (avtor), Štruc, Vitomir (mentor)

Anomaly detection in image data is a fundamental problem in computer vision, grounded in signal analysis principles within the electrotechnical engineering domain. Its applications span industrial inspection, biometric security, and digital forensics. A central challenge is the scarcity and diversity of anomalous samples, which limits fully supervised learning approaches. These challenges are especially pronounced in detecting face image manipulations, such as morphing attacks, which threaten identity verification systems as real attack data remain difficult to collect and share. This dissertation addresses these limitations by advancing one-class anomaly detection frameworks that learn primarily from non-anomalous data, with a focus on robust and generalizable detection of face morphing attacks. In this context, the dissertation presents five original scientific contributions. Within our first scientific contribution we introduce a one-class anomaly detector, Y-GAN, which models the non-anomalous data manifold by disentangling informative data attributes from irrelevant residual information. Building on this foundation, our second scientific contribution adapts one-class learning to biometric security through diffusion-based data modeling. Specifically, we introduce a probabilistic framework for morphing attack detection, termed MAD-DDPM, which more faithfully captures the distribution of bona fide face images. To further enhance robustness and cross-dataset generalization, our third scientific contribution introduces SelfMAD, a self-supervised pipeline that generates synthetic morph-like artifacts directly from bona fide images. This proxy-task approach eliminates dependence on real manipulated data while preserving strong detection performance across unseen attack types. Our fourth scientific contribution then extends toward multimodal learning with SelfMAD++, which integrates vision–language foundation models with localized visual analysis to achieve interpretable and semantically grounded morphing attack detection. Finally, within our fifth scientific contribution we investigate zero-shot morphing attack detection capabilities in multimodal large language models (MLLMs), providing empirical insights into their inherent sensitivity to manipulation artifacts. Collectively, this dissertation bridges one-class, self-supervised, and multimodal paradigms, contributing to the development of robust, interpretable, and ethically grounded anomaly detection systems for image-based forensics and biometric security.

• Jezik: Angleški jezik
• Ključne besede: anomaly detection, one-class learning, face morphing attacks, biometric security, self-supervised learning, vision–language models
• Vrsta gradiva: Doktorsko delo/naloga
• Tipologija: 2.08 - Doktorska disertacija
• Organizacija: FE - Fakulteta za elektrotehniko
• Leto izida: 2026
• PID: 20.500.12556/RUL-183012
• COBISS.SI-ID: 280350211
• Datum objave v RUL: 01.06.2026

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Učinkovito zaznavanje anomalij v slikovnih podatkih

Izvleček

Zaznavanje napak v slikovnih podatkih je temeljni problem računalniškega vida na elektrotehniškem področju obdelave signalov. Med ostalim služi kot orodje za kontrolo kakovosti izdelkov v industriji, za zaznavo ponaredkov v digitalni forenziki, ter za zagotavljanje varnosti sistemov za identifikacijo in verifikacijo oseb pred napadi na področju biometrije. Osrednji izziv pri tem problemu predstavlja pomanjkanje učnih primerov anomalij, ter njihova raznolikost, kar omejuje uporabo nadzorovanih metod zaznavanja napak. Te omejitve so še posebej izražene pri zaznavanju manipulacij obraznih slik, kot so napadi zlivanja obrazov, ki ogrožajo predvsem sisteme za avtomatizirano preverjanje identitete oseb. Ta disertacija naslavlja omenjene omejitve z razvojem enorazrednih metod za zaznavanje anomalij, ki se učijo predvsem iz podatkov brez napak. Fokus disertacije je na robustni in posplošeni zaznavi napadov zlivanja obrazov. Na tem področju v disertaciji predstavimo pet izvirnih prispevkov k znanosti. V okviru prvega izvirnega prispevka k znanosti predstavimo Y-GAN - enorazredno metodo za zaznavanje anomalij, ki za natančno modeliranje karakteristik podatkov brez napak uporabi razpletanje njihovih latentnih predstavitev v semantične in rezidualne. Čeprav ta pristop uspešno rešuje zaznavo predmetov, ki jih smatramo za anomalije, predlagan model nezadovoljivo modelira distribucijo avtentičnih obrazov v primeru problema zaznave napadov zlivanja obrazov. Prilagoditev enorazrednega koncepta učenja na problem zaznavanja biometričnih napadov naslovimo z drugim izvirnim prispevkom k znanosti. V okviru tega prispevka razvijemo difuzijsko metodo MAD-DDPM, ki je zmožna matematičnega modeliranja bolj kompleksnih podatkovnih struktur kot so obrazi. MAD-DDPM tako doseže zelo konkurenčno uspešnost zaznavanja napadov, še posebej v primeru sodobnih manipulacij. Uspešnost zaznave napadov zlivanja obrazov dodatno izboljšamo v okviru tretjega izvirnega prispevka k znanosti z uvedbo samonadzorovanega postopka bogatenja podatkov SelfMAD. Z uporabo množice avtentičnih obrazov SelfMAD simulira raznovrstne slikovne in frekvenčne napake, ki med učenjem algoritmov nadomeščajo prave učne napade. V nadaljevanju predstavimo četrti izvirni prispevek k znanosti, metodo SelfMAD++, ki združuje samonadzorovano simulacijo anomalij SelfMAD s temeljnimi vizualno-jezikovnimi modeli. Z dvovejnim pristopom, kjer ena veja analizira semantično konsistentnost obrazov, druga pa išče lokalne slikovne napake, SelfMAD++ doseže najsodobnejše rezultate zaznavanja napadov zlivanja obrazov. Pri tem premaga tako uveljavljene nadzorovane obstoječe metode, kot tudi nenadzorovane konkurenčne pristope. Na koncu disertacije, v okviru petega izvirnega prispevka k znanosti, ovrednotimo tudi zmogljivost velikih večmodalnih jezikovnih modelov (VVJM). Pokažemo, da so ti presenetljivo dobri detektorji obraznih manipulacij, ob uporabi predlaganega protokola ovrednotenja, ki sledi uveljavljenim biometričnim standardom. Čeprav takšni modeli v naši študiji ne presegajo rezultatov namenske metode SelfMAD++, ponujajo interpretabilno zaznavo manipulacij, ki jih opišejo poljudno. Obenem naša študija odpre pot za nadaljne raziskave velikih večmodalnih jezikovnih modelov in njihovo integracijo v biometrične sisteme. Izvirni znanstveni prispevki te disertacije skupaj ponujajo izboljšane rešitve za problem zlivanja obrazov in konceptualne napotke za načrtovanje robustnih, interpretabilnih, ter etično sprejemljivih biometričnih sistemov.

• Ključne besede: zaznavanje anomalij, enorazredno učenje, napadi zlivanja obrazov, biometrična varnost, samonadzorovano učenje, vizualno-jezikovni modeli