20.500.12556/RUL-140177 Generiranje slik oči z globokimi generativnimi modeli Generating ocular images with deep generative models Večina modernih pristopov za segmentacijo oči temelji na metodah globokega učenja, ki potrebujejo velike količine anotiranih podatkov. Zbiranje in anotacija tovrstnih biometričnih podatkov je izjemno dolgotrajna, medtem ko je njihova uporaba ponavadi omejena zaradi varovanja zasebnosti. V magistrskem delu predstavimo rešitev v obliki novega ogrodja za generiranje sintetičnih podatkov, poimenovanega BiOcularGAN, ki je zmožen sinteze fotorealističnih slik oči v vidnem in bližnje infrardečem svetlobnem spektru ter pripadajočih segmentacijskih mask. Pristop temelji na izvirnem dvo-vejnem modelu StyleGAN2, ki omogoči generiranje kvalitetnih in poravnanih bimodalnih slik oči. Z uporabo latentnih informacij, prisotnih v modelu, je predstavljeno ogrodje zmožno ustvarjanja izjemno natančnih pripadajočih segmentacijskih mask na podlagi izredno majhnega števila ročno anotiranih primerov. Za evalvacijo uspešnosti ogrodja BiOcularGAN izvedemo eksperimente na petih podatkovnih bazah oči in analiziramo vpliv hkratnega generiranja bimodalnih podatkov na kvaliteto pridobljenih slik in mask. Pokažemo tudi, da lahko ustvarjene sintetične podatkovne baze uporabimo za učenje sodobnih globokih segmentacijskih modelov, ki so zmožni natančne segmentacije novih in raznolikih slik oči. Most modern segmentation techniques for ocular images are based on deep learning methods and are thus critically dependent on large-scale annotated datasets. Unfortunately, suitable datasets are labour-intensive to gather and often raise privacy concerns. To address these issues, we present a novel framework, called BiOcularGAN, capable of generating large-scale synthetic datasets of photorealistic ocular images, in both the visible and the near-infrared light spectrum, along with corresponding segmentation masks. The framework is centered around an innovative Dual-Branch StyleGAN2 model, which facilitates the generation of high-quality aligned bimodal images. By exploiting latent features of the model, the framework is also able to produce extremely accurate segmentation masks of the synthetic images, based only on a handful of manually labeled examples, therefore minimizing human involvement. We evaluate the BiOcularGAN framework through extensive experiments across five diverse ocular datasets and analyze how bimodal data generation affects the quality of produced images and masks. In addition, we showcase that the generated data can be employed to train highly successful deep segmentation models, which can generalize well to other real-world datasets. globoko učenje slikovna biometrija bogatenje podatkov nevronske mreže generativne nasprotniške mreže deep learning image-based biometrics data augmentation neural networks generative adversarial networks true false false Slovenski jezik Angleški jezik Magistrsko delo/naloga 2022-09-12 15:05:00 2022-09-12 15:05:07 2022-09-20 10:36:26 0000-00-00 00:00:00 2022 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 34182 122057987 Tomasevic_Darian_-_Generiranje_slik_oci_z_globokimi_generativnimi_modeli.pdf Tomasevic_Darian_-_Generiranje_slik_oci_z_globokimi_generativnimi_modeli.pdf 1 7A91C404B4A1D72428A1B9623185E5D9 7b2ae7cf722a09f0f427aad0cc08dce2227850d4f3675b52ecc5f35fca2c91fd 76d54cfe-329b-11ed-92af-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=160862 Fakulteta za računalništvo in informatiko 0 0 0