Analiza pristranskosti v globokih modelih za superresolucijo slik obrazov

KAVČIČ, ANKA (author), Štruc, Vitomir (mentor)

Superresolucija je postopek, katerega cilj je iz slike nizke ločljivosti (angl. Low-Resolution -- LR) pridobiti sliko visoke ločljivosti (angl. High-Resolution -- HR). Superresolucija se uporablja na več področjih, npr. za izboljšanje kakovosti slikovnih podatkov pri detekciji objektov na sliki, razpoznavo obrazov v nadzornih posnetkih, medicinskih slikah, astronomskih slikah in forenziki. Superresolucija je še vedno težaven in odprt problem računalniškega vida. Superresolucija je slabo pogojen inverzni problem, saj lahko več različnih slik visoke ločljivosti enako dobro razloži izbrano sliko nizke ločljivosti. Težavnost problema narašča z večanjem faktorja povečanja. Poleg tega je težko oceniti kakovost izhoda, saj številske metrike ne povzemajo popolnoma človeške percepcije. Najnaprednejši modeli na tem področju temeljijo na učenju iz parov LR in HR slik. Ker je takšno učenje odvisno od karakteristik podatkov, obstoječi modeli niso nujno enako uspešni na vseh vrstah slik in posledično izkazujejo določeno vrsto pristranskosti. V magistrskem delu analiziramo pristranskost petih postopkov za superresolucijo, ki temeljijo na nedavnih superresolucijskih modelih. Za merjenje uspešnosti delovanja modelov uporabimo različne metrike iz literature. Poleg pristranskosti analiziramo tudi vpliv uporabe superresolucije na uspešnost delovanja detektorja na zelo majhnih obrazih, ki jih obdelamo z mrežo za superresolucijo. Na koncu preverimo, kako dobro delujejo razpoznavalniki v primeru uporabe slik z izboljšano ločljivostjo in kako vpliva na delovanje uporaba realnih LR slik, ki jim izboljšamo ločljivost z mrežami za superresolucijo. Ugotovimo, da glede na izbrani nereferenčni metriki večinoma ni velikih razlik med lastnostmi, ki jih analiziramo. Večje razlike med nekaterimi lastnostmi se pojavijo, če jih primerjamo z referenčnimi metrikami. Manjše razlike se pojavijo, ko analiziramo pristranskost glede na spol, kjer so malo boljši rezultati za predstavnike moškega spola. Glede na raso najbolj konsistentne rezultate dajejo slike Azijcev, največji razpon pa imajo slike črncev. Pri starosti so boljši rezultati glede na referenčni metriki za starostno skupino 30--49 let, slabši za 90 let in več. Pri analizi vpliva zornega kota na uspešnost delovanja postopkov superresolucije ugotovimo, da modeli delujejo bolje, bolj ko obraz odstopa od frontalne lege. Večje razlike se pojavijo, ko gre za neko vrsto prekrivanja obraza, kjer zakritost obraza vpliva na uspešnost delovanja superresolucijskih mrež. V večini primerov gre za minimalne razlike med lastnostmi. Razlika pa je opazna, če primerjamo le obraze, na katerih so lastnosti, ki nam vrnejo boljše rezultate, in jih primerjamo z obrazi, na katerih so lastnosti, ki nam vrnejo slabše rezultate. Rezultati kažejo, da postopki superresolucije ne pripomorejo k uspešnejši detekciji nizko-resolucijskih obrazov. Pri analizi delovanja razpoznavalnika rezultati kažejo, da mreži, ki glede na metrike dosegata najboljše rezultate, dajeta slike, ki zagotavljajo večjo uspešnost razpoznavanja obrazov. Vseeno pa se slike z izboljšano ločljivostjo ne približajo delovanju razpoznavalnika s HR-HR slikami. Delovanje razpoznavalnika na realnih slikah z izboljšano ločljivostjo je slabše kot na podvzorčenih slikah, a je tudi precej odvisno od tipa nadzorne kamere.

• Language: Slovenian
• Keywords: superresolucija, halucinacija obrazov, pristranskost, detekcija obraza, razpoznavalnik obraza
• Work type: Master's thesis/paper
• Organization: FE - Faculty of Electrical Engineering
• Year: 2020
• PID: 20.500.12556/RUL-122944
• Publication date in RUL: 17.12.2020

Secondary language

• Language: English
• Title: Analysis of bias in deep learning models for face super-resolution

Abstract

The goal of super-resolution is to obtain a high-resolution (HR) image from a low-resolution image (LR). Super-resolution is used in several areas, e.g. to improve the quality of image data for object detection in images, face recognition in surveillance images, medical images, astronomical images, and forensics. Super-resolution is still a difficult and open problem of computer vision. Super-resolution is inherently ill-posed. Instead of one solution, there are several HR images that equally well explain a given LR image. The severity of the problem increases with an increasing scale factor. In addition, it is difficult to assess the quality of the output, as numerical metrics do not correspond completely to human perception. The most advanced models in this field are based on learning from pairs of LR and HR images. Because such learning depends on the characteristics of the data, existing models are not equally successful in all types of images and consequently exhibit a certain type of bias. In this thesis, we analyze the bias of five state-of-the-art super-resolution models. We use various metrics from the literature to measure the performance of the models. In addition to the bias analysis, we also analyze the impact of use of super-resolution techniques on the performance of a face detector on very small facial images that were enhanced with super-resolution models. Finally, face recognition performance is studied on super-resolved images. Our experimental results show that, given the selected non-reference metrics, there are mostly no large differences between the attributes we analyze. Larger differences between some characteristics occur when compared using reference metrics. Minor differences occur when we analyze bias by gender, where there are better results for males. According to the race the most consistent results are in images showing Asians and the maximum range in images with black people. The best results are in the age group 30-49 and the worst for people aged 90 years or more. In the analysis of the influence of the view-angle on the performance of super-resolution techniques, it was found that the models work better, the more the face deviates from the frontal position. The biggest differences occur in cases of facial occlusion. We observe the weakest results when multiple attributes are present in the face images that also have worse performance when examined individually. The results show that super-resolution procedures do not contribute to a more successful detection of low-resolution faces. When analyzing face recognition, the results show that the super-resolution networks, which achieve the best results in terms of metrics, provide images that ensure greater performance of face recognition. However, hallucinated images do not come close to the results observed with HR-HR image comparisons. The face recognition performance on hallucinated real images is worse than on subsampled images, but it also depends on the type of surveillance camera used for image capture.

• Keywords: super-resolution, face hallucination, bias, face detection, face recogition