Cilj magistrskega dela je razviti in testirati nove postopke za polnjenje lezij v magnetno resonančnih slikah. Uporabljeni so bili postopki globokega učenja in generativne kontradiktorne mreže. Dobili smo spodbudne rezultate, ki smiselno zapolnijo manjkajoče dele slik. Upamo, da bodo rezultati omogočili in spodbudili nadaljnje raziskave ter pripomogli v razmahu uporabe najsodobnejših tehnologij za poljneje lezij in drugih področjih analize medicinskih slik in podatkov.
Lezija je medicinski izraz, ki opisuje abnormalna tkiva v človeku ali drugem organizmu. Nastanek lezije je posledica bolezni ali poškodbe. Lezije se zaznava s tehnikami medicinskega slikanja in na osnovi njihove lokacije, izgleda in oblike diagnosticira oziroma preverja odziv na zdravljenje številnih bolezni. Trenutno je magnetno resonančno slikanje, zaradi zmožnosti prikaza visokega kontrasta med mehkimi tkivi, med najbolj razširjenimi tehnikami za diagnosticiraje lezij.
Iz števila, velikosti, oblike in anatomske lege lezij lahko sklepamo o stanju bolezni ter napovemo dolgoročno klinično sliko in klinični izid pri bolniku. Omenjene kvantitativne podatke lahko pridobimo z razmejitvijo možganskih struktur na zdrave (bela in siva možganovina in možganska tekočina) ter patološke strukture (lezije). Razmejitev se lahko opravi z ročnim obrisovanjem, kar je zahtevo, časovno zamudno, stroškovno neučinkovito, predvsem pa podvrženo subjektivni oceni radiologa in zato nezanesljivo. Z namenom izboljšanja razmejitve je bilo razvitih več avtomatskih postopkov razmejitve. Dokazano je, da prisotnost lezij v slikah poslabša kakovost avtomatskih razmejitev in meritev prostornine normalnih struktur v možganih. V izogib tega so se uveljavili postopki polnjenja lezij.
Pri polnjenju lezij območja lezij na slikah zapolnimo z reprezentativnimi sivinskimi vrednostmi zdravih možganskih tkiv. Med uveljavljene postopke spadajo LEAP, SLF in NiftySeg. Cilj te magistrske naloge je razviti in testirati uporabo strojnega učenja, specifično generativnih kontradiktornih mrež, za polnjenje lezij.
Strojno učenje je sposobnost računalnikov, da se samostojno učijo. Postopki strojnega učenja določijo ustrezno preslikavo med vhodom in izhodom ter tako napovedo rezultat. To storijo na podlagi danih vhodnih podatkov in poznanih željenih izhodov. Med postopke strojnega učenja spadajo regresija (linearna, logaritemska), vzpodbujevalno učenje (Q-učenje), odločitvena drevesa, naključni gozdovi, nevronske mreže in globoko učenje. Zadnja dva razreda postopkov sta osrednja tema proučevanja v tem delu.
Nevronska mreža je skupek večih medseboj povezanih enot, imenovanih nevroni, ki vrnejo izhodno vrednost na podlagi uteženih vhodnih vrednosti, aktivacijske funkcije in odstopanja. Nevronske mreže so sestavljene iz večih nivojev. Če je nivojev veliko, med pet in dvajset, govorimo o globokih nevronskih mrežah. Uteži vhodov se določijo z učenjem. Na podlagi vhodnih podatkov se izračuna razlika med trenutnim in željenim rezultatom z določeno funkcijo napake. Z vzratnim postopkom učenja se posodobi trenutne vrednosti uteži.
Generativne kontradiktorne mreže (GAN; ang. Generative Adversarial Network) so skupina nevronskih mrež z značilno strukturo, kjer se sočasno učita dve mreži, takoimenovani diskriminator D in generator G. Generator ustvari vzorce, ki naj bi bili iz iste porazdelitve kot originalni (vhodni) vzorci. Diskriminator primerja originalne vzorce in vzorce iz generatorja ter se odloča ali so vzorci originalni ali ne. Naloga generatorja je, da ustvari čim bolj realne vzorce, tako da bi jih diskriminator prepoznal kot originalne. Naloga diskriminatorja pa je, da prepozna vzorce iz generatorja kot ponarejene. Diskriminator in generator sta nasprotnika v igri, ki ustreza minimaks igri z dvema igralcama.
Za polnjenje lezij smo uporabili CCGAN (ang. Context Conditional GAN) različico generativnih kontradiktornih mrež. CCGAN mreža je bila ustvarjena za polnjenje manjkajočih delov slik z ustreznimi sivinskimi vrednostmi. To ustreza našemu cilju, da zapolnimo dele slik možganov, kjer se nahajajo lezije.
Ugotovili smo, da CCGAN deluje boljše s povečanjem globine mreže tako diskriminatorja in generatorja. Ustrezna globina nevronske mreže je odvisna od specifične naloge in podatkov mreže. V našem primeru smo uporabili mrežo s petimi skupinami nivojev. Te so v večini sestavljeni iz konvolucijskega nivoja in LeakyReLU aktivacijske funkcije. V generatorskih skupinah nivojev je dodano normiranje trenutne skupine vhodnih podatkov.
Za izboljšanje rezultatov smo testirali CCGAN za različne vrednosti učne konstante. Najboljši rezultati so bili pridobljeni za učno konstanto 0,0001. Na dobljenih slikah je vidno, kako vrednost učne konstante vpliva na delovanje mreže.
Na zmogljivosti mreže vpliva tudi čas učenja oziroma število iteracij, ki jih opravimo med učenjem. Na podlagi grafa izgub je razvidna problematika učenja generativnih kontradiktornih mrež, namreč, izgube generatorja in diskriminatorja močno oscilirajo in v splošnem ne konvergirajo v stabilno stanje. To je posledica alternirajočega učenja med generatorjem in diskriminatorjem in ena izmed glavnih problematik generativnih kontradiktornih mrež. Iz tega sledi, da se generativne kontradiktorne mreže ne prenasičijo in zato potrebujejo daljše učenje. S potrjevalno podatkovno množico preverimo delovanje mreže in lahko vidimo, da se mreža skozi iteracije uči in izboljšuje rezultate. Priporočamo učenje ranga 10000 epoh.
Obstaja več hevrističnih tehnik za izboljšanje kontradiktornega učenja. Testirali smo zvezne oznake (ang. smooth labels) in naključno prekinjanje povezav (ang. dropout). Za zvezne oznake smo oznakam originalnih podatkov predpisali naključno vrednost med 0,7 in 1,2 in oznakam generatorjevih podatkov naključno vrednost med 0 in 0,3. Zvezne oznake izboljšajo rezultate mreže in nekoliko umirijo oscilacije izgub. Pri naključnem prekinjanju povezav smo med konvolucijskim in normalizacijskim nivojem izpustili polovico povezav. To je poslabšalo rezultate.
Mrežo CCGAN smo testirali z različnimi izgubami in ugotovili, da dobimo najboljše rezultate z Wasserstein funkcijo izgube z regularizacijo gradientov. Mreža vrne dobre rezultate pri generiranju slik in polnjenju lezij. Amaterski opazovalec vizualno ne bo prepoznal razlike med originalnimi slikami in slikami, ki jih je zapolnil generator. S primerjavo originalne in generirane slike je razvidno, da prihaja do določenih artefaktov, ki se na slikah ponavadi pojavljajo na območju ventrikularnega sistema. Polnjenje je kvalitetno ne glede na obliko manjkajočega dela slike.
Preizkusili smo tudi delovanje mrež z delnimi konvolucijami (ang. partial convolution network). Delna konvolucija je postopek polnjenja slik, ki opravi konvolucijo samo na veljavnih elementih slike, torej tam, kjer slika ni maskirana. Postopek vključuje še avtomatsko generacijo maske tako, da se v vsaki iteraciji del maske, ki je sosednji originalnim slikovnim elementom zapolni in posledično se maska zmanjša. Generira se nova, manjša maska za naslednjo iteracijo. Tako lahko zapolnimo masko lezij na magnetno resonančnih slikah. Uporabljena nevronska mreža z delnimi konvolucijami temelji na arhitekturi U-net mreže, kjer so konvolucije zamenjane z delnimi konvolucijami.
Delno konvolucijska mreža opravi polnjenje slike z naključno masko najbolj kakovostno glede na dve kvantitativni meri: srednja kvadratna napaka (MSE; ang. mean square error) in indeks strukturne podobnosti (SSIM; ang. structural similarity index). Tako kot pri CCGAN na oko težko razpoznamo katera slika je originalna in katera zapolnjena. Ponovno se pojavijo napake v polnjenju na območju slike, kjer se nahaja ventrikularni sistem.
Obe mreži, CCGAN in delno konvolucijska mreža, sta bili testirani za polnjenje lezij multiple skleroze. Delno konvolucijska mreža se je bolje odrezala samo glede na SSIM mero na območju lezij. Najbolj točna generacija originalnega dela slike pa je pridobljena z CCGAN mrežo.
Rezultati polnjenja lezij so spodbudni in nakazujejo možnosti za rabo na dejanskih slikah. Za zaneslivejše in bolj primerljive rezultati bi bilo potrebno postopek nadgraditi za 3D slike. Rezultati kažejo, da je lezije na magnetno resonančnih slikah mogoče uspešno zapolniti z globokimi nevronskimi mrežami in generativnimi kotradiktornimi mrežami.
Področje razvoja in vrednotenja generativnih kontradiktornih mrež je trenutno zelo aktivno. Problem nekonvergence in iskanja Nash ravnovesja še ni rešen. Obstaja množica variacij teh mrež, ki rešujejo specifične težave v konteksu aplikacije. Generativne kontradiktorne mreže so bile uporabljene za veliko različnih namenov uporabe v medicini. Naši rezultati so spodbudni in upamo, da bodo olajšali in motivirali nadaljnje raziskave uporabe najmodernejših tehnologij za polnjenje lezij ter na sorodnih področjih. Upamo tudi, da bo sledila translacija teh postopkov v konkretne aplikacije.
|
