Convolutional neural networks for lesion segmentation in brain magnetic resonance images

MACERL, JURE (author), Špiclin, Žiga (mentor)

Brain is one of the largest and most complex organs in the human body. It consists of many specialized and interconnected substructures that work together, and is responsible for crucial tasks like motor function, vision, speech, memory, cognition, etc. Therefore, any damage to the brain is reflected in physical and mental disabilities. In the context of this thesis we will focus on multiple sclerosis (MS), a progressive neurological disease that affects the central nervous system. The hallmark of the disease is scar brain tissue, also known as lesions, which are visible on magnetic resonance (MR) images. As a noninvasive diagnostic method, the MR imaging is an important paraclinical tool used to diagnose and to monitor MS disease activity. Early diagnosis and objective patient observation based on MR may estimate the disease progression and the effectiveness of immunomodulatory therapies. Disease diagnosis, progression and response to therapy can be objectively determined by measuring the volume, size, and location of the lesions in brain MR images. This may be done by a neuroradiologist by manually outlining the lesions. However, this task is time-consuming and subject to human error and huge bias. In recent years, state-of-the-art automated methods for segmenting the lesions in MR images have emerged and promise to provide faster and reproducible results. With increasing computational power and wide availability of machine learning (ML) frameworks, and their ability to learn and improve performance on specific tasks, the ML has become widely used to solve nowadays challenging engineering problems like autonomous-driving, speech recognition, image recognition, and segmentation. Convolutional neural networks (CNN), a type of ML algorithm most commonly applied to image recognition problems, have shown outstanding performance in various applications. The CNN is a supervised learning method, in which a mapping function from input to output is established based on labelled training samples. We are motivated to apply CNN in context of lesion segmentation since the CNNs have previously achieved superhuman performance level on certain classification and semantic segmentation tasks in the context of biomedical image analysis. In this thesis, we designed, tested and validated an ML based framework for automatic lesion segmentation. We used CNNs for semantic segmentation of lesions in MR images. In the first part of the thesis, we focused on segmentation of white matter lesions and in the second part on segmentation of cortical gray matter lesions. The framework allowed us to run experiments with several training data augmentation techniques, network architectures and in the context of various segmentation tasks, using transfer learning. The aim of the thesis was to test and validate the CNNs for quantification of MR images and to obtain benchmark performance metrics that determine whether such an approach can be used to objectively assess the disease status. First, we tested different augmentation techniques like intensity normalization, sagittal flip and random B-spline based spatial deformations. Next, we tried to find the best network architecture for the lesion segmentation task, with a hypothesis that a multi-pathway approach could address the trade-off between the amount of contextual low-resolution information needed to detect lesions and the amount of high-resolution information needed for accurately delineate lesions. Finally, we applied transfer learning to address another task, i.e. segmentation of cortical gray matter lesions. Objective validation of the CNNs for the mentioned lesion segmentation tasks was carried out on MR image datasets of 467 MS patients, who were imaged at 7 different sites on scanners from all three major vendors. We found that augmentation does not substantially increase segmentation performance, when compared to using multisite datasets, and that input image quality has a big impact on accuracy. The white matter lesion segmentation results show the benefit of our novel multi-pathway CNN architecture that achieved good performance across multiple scanner datasets, improving performance up to 13%. Finally, transfer learning as a means of migrating CNN weights from models trained for white matter lesion segmentation to models for gray matter lesion segmentation was found promising. We found that it is difficult to segment lesions in the gray matter due to their small size and rather poor contrast, but also due to a rather small number of available training and test cases. However, the results are promising and more data would be required for objective validation. In conclusion, the white matter segmentation results indicate that CNNs are robust against inter-scanner differences and may be applied for the quantification of lesions on standard clinical MR images used to diagnose and monitor MS patients.

• Language: English
• Keywords: multiple sclerosis, magnetic resonance imaging, machine learning, convolutional neural networks
• Work type: Master's thesis/paper
• Organization: FE - Faculty of Electrical Engineering
• Year: 2018
• PID: 20.500.12556/RUL-105875
• Publication date in RUL: 21.12.2018

Secondary language

• Language: Slovenian
• Title: Konvolucijske nevronske mreže za razmejitev lezij v magnetnoresonančnih slikah glave

Abstract

Možgani so del centralnega živčnega sistema in v telesu opravljajo vlogo koordinacije, odločanja in motorike. Že manjša poškodba možganov lahko oslabi izvajanje nekatere od omenjenih vlog. Nevrološke bolezni in z njimi povezane poškodbe možganov so velik problem današnje družbe saj prizadenejo velik del populacije, hkrati pa zaradi zahtevne oskrbe prizadetih bolnikov predstavljajo veliko finančno breme za zdravstveni sistem. Za zgodnjo detekcijo in spremljanje zdravljenja bolezni in poškodb možganov je tako potreben učinkovit, zanesljiv in objektiven način njihovega diagnosticiranja in spremljanja. Multipla skleroza (MS) spada med nevrodegenerativne bolezni možganov in se manifestira v kliničnih simptomih kot so tresavica, motnja govora, motnja motorike itd. Poleg kliničnih znakov, ki se pojavijo že pri napredovani oz. razviti bolezni, so prisotni tudi paraklinični znaki, ki so prisotni kot lokalna žarišča ali lezije v možganih še preden se pojavijo simptomi. Lezije so najbolj vidne na magnetno resonančnih (MR) slikah. Magnetna resonanca kot neinvazivna in neškodljiva metoda diagnosticiranja tako predstavlja obetavno možnost za zgodnje odkrivanje bolezni in ocenjevanje napredovanja bolezni. Spremljanje bolezni in ocenjevanje vpliva zdravljenja so največkrat ocenjeni s pomočjo objektivnih ocen o lokaciji, velikosti in volumnu. Te so lahko ocenjene z ročnim obrisovanjem nevrologa, ki rezultirajo v počasnem in subjektivnem ocenjevanju ali pa z uporabo avtomatskih postopkov, ki zagotavljajo objektivno in ponovljivo oceno. V zadnjem času so precej napredovali postopki strojnega učenja, ki so se uveljavili na mnogih področjih, in dosegli vrhunske rezultate tudi na področju analize medicinskih slik. V magistrski nalogi uporabljamo konvolucijske nevronske mreže, ki spadajo v družino algoritmov stojnega učenja. Načrtujemo, preizkušamo in objektivno vrednotimo različne nevronske mreže za avtomatsko razgradnjo patoloških lezij v MR slikah glave. Namen naloge je načrtovanje problemu ustrezne arhitekture nevronske mreže, preizkušanje vpliva različnih predobdelav slik na kakovost razgradnje z nevronskimi mrežami in vrednotenje kakovosti razgradnje na slikah zajetih na različnih MR napravah. Eksperimente smo izvajali na 467 slikah zajetih na sedmih različnih MR napravah od treh različnih proizvajalcev. V prvem delu naloge smo verificirali razgradnjo patoloških lezij v beli možganovini. Izbrali smo implementacijo nevronske mreže imenovano »U-net«, s katero smo vrednotili vpliv različnih načinov predobdelave slik. Za predobdelavo smo uporabili naslednje postopke: zrcaljenje slik vzdolž ločnice med levo in desno možgansko hemisfero, naključne preslikave z B zlepki, sivinska normalizacija in različne kombinacije omenjenih postopkov. Objektivno smo vrednotili vpliv posameznih postopkov predobdelave in kombinacij na kakovost razgradnje lezij. V naslednjem delu smo za segmentacijo lezij uporabili tri različne nevronske mreže. Kot prvo smo uporabili »U-net«, kot drugo pa smo načrtali tako imenovano »Two path« oziroma dvotirno mrežo, ki temelji na predpostavki, da je za učinkovito razgranjo pomembna tudi informacija o širši okolici lezije. Glede na rezultate smo omenjeni nevronski mreži »U-net« in »Two path« združili v tako imenovano »Multinet« mrežo. Za vsako izmed mrež smo izračunali uveljavljene mere sposobnosti in jih primerjali med seboj. Glede na rezultate se je predlagana »Multinet« mreža izkazala kot najboljša arhitektura za razgradnjo lezij v beli možganovini. Pri tretjem eksperimentu smo vrednotili vpliv zajemna na razgradnjo lezij v beli možganovini. Na osnovi učenja »Two path« mreže smo vrednotili kakovost razgradnje na sedmih različnih MR napravah. Mrežo smo najprej učili samo na slikah zajetih na eni napravi, nato pa vrednotili na slikah iz vseh naprav in obratno. Ugotovili smo, da kombinacija učnih slik zajetih na različnih napravah pozitivno vpliva na kakovost razgradnje ter njeno primerljivost med napravami. V drugem delu magistrske naloge smo se osredotočili na razgradnjo lezij v sivi možganovini. Zaradi majhnega števila slik in tudi lezij v sivi možganovini smo uporabili že naučene uteži iz prvega dela naloge in jih ponovno učili. Preizkusili smo več načinov, kako iz prvega dela naloge, kjer smo učili nevronske mreže za razgradnjo lezij v beli možganovini, izbrati že naučene uteži in jih optimalno uporabiti na tem novem problemu razgradnje. V magistrski nalogi smo ugotovili, da različni postopki predobdelave občutno ne spremenijo kakovosti razgradnje. Smo pa potrdili, da so za učinkovito razgradnjo potrebni visoko kakovostni vhodni podatki. Pokazali smo tudi, da nevronske mreže dosegajo slabe rezultate na podatkih, ki niso bili prisotni pri učenju. Pri uporabi arhitekture «Multinet« je bila ta razlika 13%. Pri razgradnji lezij v sivi možganovini nismo dosegli zadovoljivih rezultatov. Rezultat je posledica slabšega kontrasta med ozadjem in lezijo v sivi možganovini, v primerjavi z belo, ter manjšega danih učnih in testnih števila slik. Po drugi strani smo pokazali, da je postopek prenosa uteži iz sorodnega problema pomembno izboljšal kakovost razgradnje in je zato obetaven za nadaljnje raziskave. Konvolucijske nevronske mreže so se izkazale za učinkovito metodo razgradnje lezij v beli možganovini. Postopek daje zadovoljive in ponovljive rezultate na vseh napravah, kljub različni vhodni kvaliteti slik in je kot tak primeren za uporabo na klinični praksi, kjer na osnovi razgradenj opravimo meritve možganskih struktur in z njimi opredelimo prihodnji potek bolezni in učinkovitost predhodnih terapij. Kljub zadovoljivim rezultatom se avtomatski postopki še niso uveljavili v klinični praksi, so pa v teku raziskovalni projekti ki postavljajo standarde za zbiranje podatkov in postavljajo temelje za nadaljnje translacijske raziskave in prenos tehnologije v prakso.

• Keywords: nevrodegenerativne bolezni, magnetno resonančne slike, strojno učenje, konvolucijske nevronske mreže