Brain Tumor Segmentation on MRI BraTS Data using convolutional neural networks: experimental study and comparison : master thesis

Dragičević, Irena (avtor), Žibert, Janez (mentor), Fošnarič, Miha (recenzent)

Introduction: The research on medical image segmentation is now-a-days largely driven by convolutional neural networks. These networks perform state-of-the-art results for brain tumor segmentation. A modification of convolutional neural networks called U-Net has gained significant popularity among researchers. Purpose: The aim of this work is to develop a 3D U-Net model in Python. The same architecture is trained using different sequences and the segmentation results of each model are evaluated and discussed. Methods: The 3D U-Net is developed in Python using the BraTS 2020 dataset. The purpose of the 3D U-Net model is to segment input brain MRI images of patients with glioma into several classes and subregions while also implementing metrics to assess its effectiveness. The dataset was split to a training and a validation set and segmentations from U-Net models are validated by calculating the Intersection over Union and the Dice similarity coefficient for classes and tumor subregions. Results: The Intersection over Union and Dice similarity coefficient show variations in the segmentation performance depending on the sequences used to train the U-Net model. Overall, the whole tumor is best segmented by the T2 and FLAIR combined U-Net, the tumor core by the U-Net trained on T1CE and FLAIR and the active tumor by the U-Net trained on T1CE and T1. The T1CE and T1 combination has shown the same performance for necrosis/non-enhancing tumor segmentation as the T1CE and FLAIR combination, while the T2 and FLAIR combination was inadequate for the task. The same can be said for the segmentation of the enhancing tumor while the T1CE and FLAIR-trained model was the most useful for edema segmentation. Discussion and conclusion: The results have shown that different sequences play an important role in the training process of a U-Net and significantly affect the validation.. Overall, the U-Net model trained on T1CE and FLAIR has shown the best performance as it has accomplished a very effective segmentation of all classes and tumor subregions, with little to no drawbacks when compared to other models. The clinical implementation of U-Net models could bring improvement to the hospital workflow and greatly benefit the patient.

• Jezik: Angleški jezik
• Ključne besede: master's theses, radiologic technology, convolutional neural networks, U-Net, BraTS, glioma segmentation, multimodal segmentation, medical image segmentation, machine learning
• Vrsta gradiva: Magistrsko delo/naloga
• Tipologija: 2.09 - Magistrsko delo
• Organizacija: ZF - Zdravstvena fakulteta
• Kraj izida: Ljubljana
• Založnik: [I. Dragičević]
• Leto izida: 2023
• Št. strani: 55 str.
• PID: 20.500.12556/RUL-147286
• UDK: 616-07
• COBISS.SI-ID: 157885443
• Datum objave v RUL: 29.06.2023

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Segmentacija možganskih tumorjev na MR slikah podatkovne zbirke BraTS z uporabo konvolucijskih nevralnih mrež: eksperimentalna študija in primerjava : magistrsko delo

Izvleček

Uvod: Segmentacija slik je postopek razdelitve slike v različne podskupine na podlagi določenih podobnih značilnosti. Danes se uporablja za številne naloge, med katerimi je medicinska segmentacija zelo pomembna za področje radiologije in radioterapije. Sodobne metode medicinske segmentacije slik v veliki meri uporabljajo postopke globokega učenja z uporabo konvolucijskih nevronskih mrež. Konvolucijske nevronske mreže so različica umetnih nevronskih mrež in so sposobne izluščiti kompleksne značilnosti slike z uporabo več matematičnih operacij. Osnovni elementi konvolucijske nevronske mreže so konvolucijski filtri, aktivacijska funkcija in združevanje. Zelo popularna različica omenjenih mrež, imenovana U-Net, razen možnosti učenja karakteristik slike, tudi omogoča ponovno vzpostavitev ločljivosti slike in lokalizacijo naučenih značilnosti s pomočjo transponirane konvolucije in veriženja. Danes so konvolucijske mreže in U-Net pogosto uporabljene v raziskavah z namenom segmentacije tumorjev, saj bi implementacija teh sistemov v klinično prakso lahko prinesla avtomatizacijo zamudne naloge delineacije tumorjev, hitrejši potek dela, večjo natančnost in zmanjšanje variabilnosti kontur. Eno od pomembnih področij raziskovanja segmentacije je segmentacija gliomov, ki predstavljajo obsežno in heterogeno skupino tumorjev z visoko incidenco. BraTS baza podatkov je zelo uporabna v ta namen, saj vsebuje magnetnoresonančne slike velikega števila bolnikov z gliomom visoke in nizke stopnje. Namen: Cilj tiste naloge je razviti 3D U-Net model v Pythonu na več različnih kombinacijah magnetnoresonančnih zaporedij in ovrednotiti segmentacije vsakega modela za razred in tumorsko subregijo. Metode dela: 3D U-Net je razvit v Pythonu z uporabo BraTS 2020 zbirke podatkov, kjer 75% podatkov vzamemo za učenje modelov in 25% za validacijo. U-Net arhitektura je sestavljena iz petih konvolucijskih korakov in štirih korakov transponirane konvolucije ter doseže globino od dvesto šestinpetdeset konvolucijskih filtrov. Enaka arhitektura se uporablja za učenje treh različnih modelov na treh kombinacijah zaporedja: T1 in T1 s kontrastom, FLAIR in T1 s kontrastom ter T2 in FLAIR. Učenje je narejeno na lokalnem računalniku in v sto epohah. Validacija je narejena s pomočjo preseka nad unijo IoU in koeficienta Dice za razrede in tumorske subregije. Rezultati: Presek nad unijo in koeficient Dice kažeta razlike v uspešnosti segmentacije glede na zaporedja, uporabljena za učenje 3D U-Net modela. Celoten tumor je najbolje segmentiran s kombinacijo T2 in FLAIR zaporedjih, jedro tumorja z U-Net modelom, učenim na T1CE in FLAIR, aktivni tumor pa z modelom učenim na T1CE in T1. Kombinacija T1CE in T1 je pokazala enako učinkovitost pri nekrozi ali delu tumorja s hipointenzivnim signalom po aplikaciji kontrasta kot kombinacija T1CE in FLAIR, medtem ko kombinacija T2 in FLAIR ni bila primerna za to nalogo. Enako velja za del tumorja, ki mu se signal zviša po aplikaciji kontrasta, medtem ko je model, učen na T1CE in FLAIR, najbolj uporaben za segmentacijo edema. Razprava in zaključek: Rezultati so pokazali pomen T1 zaporedja s kontrastom za delineacijo nekrotičnega tumorskega tkiva in tkiva tumorja, ki po aplikaciji kontrastnega sredstva ne pokazuje hiperintenzivnega signala. Ta učinek vpliva tudi na razmejitev notranje meje edema. Izključitev T1 poudarjenega zaporedja s kontrastom v modelu, naučenem na T2 in FLAIR zaporedjih, je močno zmanjšala njegove zmožnosti segmentacije edema in razlikovanja notranjih segmentov tumorja zaradi izgube notranje meje edema. Kombinacija zaporedij T2 in FLAIR ter zaporedij T1 in T1CE zagotavlja dodatno jasnost mejam celotnega tumorja in aktivnega tumorja, kar se kaže v rahlem izboljšanju segmentacije teh delov. Ker ta izboljšava znaša samo 1% Dice koeficienta podobnosti, bi bilo smiselno raziskati nadaljnje izboljšave U-Net mreže, da bi bilo mogoče izpustiti T1 in T2 sekvenci. Izpuščanje zaporedja T1 in T2 bi lahko pomenilo veliko prednost v kliničnem okolju, zlasti pri delu z bolniki, ki ne morejo zdržati daljše preiskave MRI, in bi tudi vplivalo na zmanjšanje potrebnega računalniškega pomnilnika. 3D U-Net, naučen na FLAIR in T1CE, je na splošno dosegel najboljše rezultate z dobro segmentacijo vseh razredov in tumorskih subregij glede na presek nad unijo in Dice koeficient podobnosti. Nadaljnje izboljšave bi lahko bile optimizacija vhodnih podatkov in hiperparametrov mreže. Postopek validacije bi lahko bil izboljšan z dodajanjem več drugih meritev, kot so občutljivost, specifičnosti in Hausdorffova razdalja. Poleg tega bi bilo smiselno prilagoditi validacijski nabor podatkov, da bi bili rezultati primerljivi z rezultati raziskovalnih skupin, ki so sodelovali v evaluaciji modelov na BraTS 2020. Konvolucijske nevronske mreže so danes že v uporabi v klinični praksi, tudi 3D U-Net, ki je bil uporabljen v tej magistrski nalogi. Glede na uspešnost delovanja takšnih sistemovin vse večjo incidenco raka možganov, je potrebno takšne sisteme vključevati v diagnostiko in planiranje radioterapije ter na ta način izboljšati poteka dela in zdravja pacientov.

• Ključne besede: magistrska dela, radiološka tehnologija, konvolucijske nevronske mreže, U-Net, BraTS, segmentacija gliomov, multimodalna segmentacija, segmentacija medicinskih slik, strojno učenje