20.500.12556/RUL-114881 SAMODEJNO RAZPOZNAVANJE OBRAZOV IZ SLIK NIZKE LOČLJIVOSTI AUTOMATED FACE RECOGNITION FROM LOW-RESOLUTION IMAGERY V pričujoči doktorski disertaciji se ukvarjamo s problemom samodejnega razpoznavanja obrazov iz slik nizke ločljivosti z uporabo metod globokega učenja. Metode globokega učenja so v zadnjem času dosegle močan preboj v učinkovitosti delovanja postopkov razpoznavanja obrazov. Globoki nevronski modeli so naučeni za razpoznavanje obrazov na podatkovnih zbirkah več milijonov slik in so že na podlagi raznolikosti slik v učnih podatkovnih zbirkah zmožni delovanja v režimih, kot so spremembe svetlosti, obrazne poze in mimike, za razliko od klasičnih pristopov k razpoznavanju obrazov, kjer so vplivi takih dejavnikov eksplicitno modelirani. Kljub preboju z globokim učenjem pa samodejni sistemi za razpoznavanje obrazov v nekaterih okoliščinah še vedno ne dosegajo človeških sposobnosti. Ena od takih okoliščin je nizka ločljivost slik obrazov, ki je lahko rezultat bodisi zajema slik s kamerami nizke kakovosti bodisi razdalje obraza od kamere. V disertaciji najprej izvedemo sistematično študijo vplivov dejavnikov kakovosti slik na sposobnost samodejnih sistemov razpoznavanja obrazov, kjer ugotovimo obstoj močnega vpliva ločljivosti slike na uspešnost razpoznavanja. Nato razvijemo metodo za izboljšavo kakovosti slik, ki temelji na novi arhitekturi konvolucijskega nevronskega omrežja za superresolucijo in novi kriterijski funkciji za superresolucijo obrazov, ki upošteva kakovost rekonstrukcije in vsebnost informacije o identiteti. V eksperimentih pri primerjavi s konkurenčnimi modeli za izboljšavo kakovosti obraznih slik ugotovimo, da ima razvit model boljšo sposobnost rekonstrukcije podrobnosti v visoki ločljivosti in je bolj uporaben za višjenivojske naloge računalniškega vida, kot sta razpoznavanje obrazov in lokalizacija ključnih obraznih točk. Na podlagi razvitega modela izvedemo študijo pristranskosti superresolucijskih modelov in ugotovimo, da vsi preizkušeni modeli izkazujejo izrazito pristranskost v prid modelu degradacije slike, uporabljenemu za generiranje učne podatkovne zbirke za učenje superresolucije. Zaradi te pristranskosti nobeden izmed preizkušenih modelov za izboljšavo kakovosti obraznih slik ni sposoben sistematično izboljšati slik z vidika uporabnosti za razpoznavanje obrazov, kadar gre za realne slike nizke ločljivosti in ne umetno podvzorčene. Na podlagi te ugotovitve razvijemo novo metodo za razpoznavanje obrazov iz slik nizke ločljivosti, ki temelji na rezultatih prej razvitega modela za izboljšavo kakovosti slik nizke ločljivosti. Metoda temelji na združevanju rezultatov superresolucije na več skalah in izpeljavi značilk s prednaučenimi modeli za razpoznavanje obrazov. Z eksperimenti na podatkovni zbirki SCFace pokažemo, da razvita metoda uspešno izrabi s strani modelov za izboljšavo kakovosti slik dodano informacijo in izboljša rezultate razpoznavanja obrazov. Recently, significant advances in the field of automated face recognition have been achieved using computer vision, machine learning, and deep learning methodologies. However, despite claims of super-human performance of face recognition algorithms on select key benchmark tasks, there remain several open problems that preclude the general replacement of human face recognition work with automated systems. State-of-the-art automated face recognition systems based on deep learning methods are able to achieve high accuracy when the face images they are tasked with recognizing subjects from are of sufficiently high quality. However, low image resolution remains one of the principal obstacles to face recognition systems, and their performance in the low-resolution regime is decidedly below human capabilities. In this PhD thesis, we present a systematic study of modern automated face recognition systems in the presence of image degradation in various forms. Based on our findings, we then propose a novel technique for improving the quality of low-resolution face images. Specifically, we present a novel deep learning model architecture for image superresolution, and a novel training procedure for face hallucination that trains the model to super-resolve face images in a manner that preserves the information about the subject identity present in the low-resolution image. We validate the model by comparing its image reconstruction capability against several state-of-the-art models, as well as its performance on downstream semantic tasks including face recognition and face landmark localization. Next, we study the generalization capabilities of super-resolution-based face hallucination models, and find most of the models studied to be heavily biased towards the articial image degradation process used to generate their training datasets. We notice that due to this bias, none of the face hallucination models considered are able to outperform an interpolation baseline on face recognition benchmarks with real-life low resolution images. To overcome this problem, we then develop a novel method for face recognition from low-resolution images that uses the results of multi-scale face hallucination models developed earlier. The proposed method is able to benefit from the high-resolution information added by the face hallucination models without suffering from the training set bias they exhibit, and systematically outperform the interpolation baseline and other state-of-the-art low-resolution face recognition models on the SCFace benchmark. Our proposed methods are trained on large face image datasets in a manner typical for deep learning models. However, the resulting trained models are useful for face recognition applications in an open-set regime, and do not need to be re-trained for novel subjects. Globoko učenje razpoznavanje obrazov superresolucija Deep learning face recognition superresolution true false false Slovenski jezik Angleški jezik Doktorsko delo/naloga 2020-03-23 17:10:05 2020-03-23 17:10:20 2022-08-27 03:58:22 0000-00-00 00:00:00 2020 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 1970-01-01 50621 Grm_Klemen_-_SAMODEJNO_RAZPOZNAVANJE_OBRAZOV_IZ_SLIK_NIZKE_LOCLJIVOSTI.pdf Grm_Klemen_-_SAMODEJNO_RAZPOZNAVANJE_OBRAZOV_IZ_SLIK_NIZKE_LOCLJIVOSTI.pdf 1 2F7AAFF2C2D383833026611DA0AE35DA e5958a7abec09eb888ba837a74178debd7bc268cc7eda28b32c083b65787dd24 4a962e43-a1b8-11eb-a523-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=127252 Fakulteta za elektrotehniko 0 0 0