Virtualno pomerjanje frizur z uporabo generativnih nevronskih modelovPUC, ANDRAŽ (Avtor) Štruc, Vitomir (Mentor) umetna inteligencagloboki modelgenerativno nasprotniško omrežjeStyleGAN2latentni vektormanipulacija slikestil frizureGenerativna nasprotniška omrežja (angl. Generative Adversarial Networks - GAN) so v zadnjih letih ena izmed najatraktivnejših globokih modelov za generiranje semantičnih podatkov, tudi na področju biometrije. Koncept dveh modulov, generatorja in diskriminatorja, ki si med učenjem nasprotujeta, se izkaže za izredno močno metodo postavitve omrežne arhitekture. V teoriji pride med učenjem modelov GAN do tekme med obema moduloma. Izkaže se, da je v praksi težko uspešno naučiti tovrsten sistem, ki je stabilen, a uporaba različnih metod in pristopov omogoča uspešno učenje takih modelov. Generativna narava omrežij GAN z dobro naučenim modelom praktično omogoča neomejene možnosti uporabe podatkov, ustvarjenih na tak način. Raziskovalcem je v zadnjih letih zanimanje vzbudilo predvsem področje generiranja in manipulacije slik človekovega obraza. Najboljše rezultate na tem področju dosegata modela StyleGAN in njegov naslednik StyleGAN2, ki sta ustvarjena prav z namenom generiranja hiperrealističnih (angl. hyper-realistic) slik človekovih obrazov z možnostjo dodatnega spreminjanja ustvarjenih slik. V pričujočem delu opišemo razvoj modela za manipulacijo frizure na sliki človekovega obraza v visoki ločljivosti in pri tem uporabimo različne metode slikovnega procesiranja. Naši pristopi v osnovi temeljijo na uporabi razvozlanega oz. razpletenega latentnega prostora generatorja StyleGAN2, v katerem lahko predstavimo poljubno resnično sliko z zapisom v latentni vektor. Pri postopku neposredne manipulacije latentnih projekcij slik uporabimo pristop pogojenega premika čez hiperravnine (angl. hyperplane), ki jih poiščemo z učenjem klasifikatorja SVM (angl. Support Vector Machine - SVM) podpornih vektorjev na označeni podatkovni zbirki. Model dodatno omogoča neposredno preslikavo celotne frizure osebe z referenčne slike na vhodno sliko, kjer uporabimo raznovrstne klasične metode slikovnih tehnologij v kombinaciji z novodobnimi procesi, ki jih omogoča izredna moč generatorja StyleGAN2. Poudarimo tudi problematiko ohranjanja obrazne identitete pri uporabljenih procesih in za slednje dodatno poskrbimo z uporabo opisanih postkorekcijskih postopkov končnega kodiranja (angl. encoding) in preslikave ključnih obraznih karakteristik. Predstavimo rezultate našega pristopa in dodatno analiziramo ključne elemente modela, ki vplivajo na uspešnost tovrstnih manipulacij. Izvedemo tudi primerjalno študijo, v kateri pridobljene rezultate primerjamo z nekaterimi trenutno najnaprednejšimi (angl. state-of-the-art) modeli, ki prav tako specifično omogočajo manipulacijo frizure na sliki človekovega obraza.20222022-01-28 08:20:00Magistrsko delo/naloga134733VisID: 57001COBISS_ID: 95455747sl