Deep learning based assessment of hemodynamics in the coarctation of the aorta

Veršnjak, Jakob (author), Špiclin, Žiga (mentor), Goubergrits, Leonid (comentor)

Affordable, user-friendly, non-invasive diagnostic methods, requiring minimal expert engineering knowledge, have gained prominence in recent years. This trend is also desirable for diagnosing conditions like coarctation of the aorta (CoA), a congenital heart disease characterized by aorta narrowing, leading to a significant pressure drop (PD) - a key diagnostic indicator. Invasive techniques, such as cardiac catheterization, serve as a gold standard for measuring peak-to-peak pressure gradient. However, non-invasive measurements can also be achieved through computational modeling. Utilizing numerical methods like computational fluid dynamics (CFD), patient-specific hemodynamics can be simulated based on magnetic resonance imaging (MRI). The data generation process is briefly summarized as follows. The aorta is manually segmented from 3D steady-state free-precession magnetic resonance imaging (SSFP-MRI) scans of the thoracic aorta using ZIB Amira software (version 2015.28, Zuse Institute Berlin, Germany), involving a threshold-based algorithm with manual corrections when necessary. Further, a surface model is derived from this segmentation using the vascular modeling toolkit (VMTK, Orobix Srl, Bergamo, Italy). This model represents the aorta with a discrete centerline and corresponding circular cross-sections. It is then transformed into a closed triangulated surface mesh, which serves as a boundary condition for CFD simulations. The dataset comprises images from 106 patients with CoA before treatment, 37 patients (a subset of the initial 106 CoA patients) after treatment, and 85 healthy subjects, totaling 228 cases. This cohort was also used to generate a statistical shape model (SSM), enabling the subsequent generation of synthetic cases to augment real data. Another boundary condition is acquired through 4D phase-contrast magnetic resonance imaging (PC-MRI), capturing accurate flow fields, including inlet velocity profile and peak systolic flow rates at the descending and ascending aorta, using MEVIS Flow software (version 10.3, Fraunhofer MEVIS, Bremen, Germany). In cases where PC-MRI data was unavailable, synthetic flow boundary conditions were generated using the SSM. The final dataset included the boundary conditions for a total of 228 real and 2968 synthetic cases. Finally, the hemodynamic parameters for all cases were computed solely at the peak systolic state using the commercial CFD solver Siemens STAR-CCM+ (version 13.02, Siemens PLM Software, Plano, TX, USA). These parameters include relative static pressure, wall shear stress (WSS), turbulence kinetic energy (TKE), specific kinetic energy (KE), and velocity magnitude, as they all are affected by the narrowing of the aorta. Nonetheless, the integration of CFD into clinical practice faces limitations, including computational expenses (due to computing power requirements and long simulation times) and the demand for expertise in hemodynamics simulations. To address these challenges, this thesis proposes an alternative approach utilizing deep learning (DL). Once trained, DL models provide nearly instantaneous results, avoiding the need for extensive computational resources. A comparative assessment of two DL architectures, each trained on data with a different number of dimensions is performed to predict CoA patients' hemodynamic parameters: (i) a 1-dimensional bidirectional recurrent network (1D-BRNN) and (ii) a three-dimensional convolutional neural network (3D-CNN). The 1D-BRNN is trained to predict all hemodynamics generated by the CFD along the discrete centerline points in the aorta. Conversely, the 3D-CNN can only predict the 3D static relative pressure (i.e. pressure values on the cross-sections perpendicular to the centerline) within the aorta. Furthermore, the 1D-BRNN is also subject to hyperparameter selection through cross-validation. To evaluate the accuracy of the trained models, 18 real cases, which were neither used for training nor in generating the synthetic cohort, were selected from the real cohort. The evaluation focused on the mean and standard deviation of errors (DL model's value - CFD value) for three scalar hemodynamic parameters significantly influenced by coarctation: pressure drop (PD), maximum wall shear stress (WSSmax), and maximum velocity at the stenosis region (Vmax). Furthermore, the median of the point-wise root mean squared error (RMSE) for the pressure course along the centerline is computed. Both 3D-CNN and 1D-BRNN exhibit similar accuracy and precision. The CNN is slightly more accurate in predicting pressure courses, characterized by a lower median RMSE of 3.23 mmHg, as compared to the 1D-BRNN's median RMSE of 4.25 mmHg. However, the 1D-BRNN has better precision at PD prediction, exhibiting a lower standard deviation of the error (7.03 mmHg) compared to the 8.91 mmHg evaluated for the CNN. The similarity in performance of both models suggests that compressing the 3D aortic hemodynamics into 1D-centerline representation does not result in information loss during DL model training. The results indicate that DL methods have the potential to serve as a viable alternative to CFD, particularly for PD prediction in CoA patients. According to current guidelines, an intervention is recommended if the peak-to-peak coarctation gradient (pressure drop) exceeds 20 mmHg. The model's error, with a standard deviation of 7.03 mmHg for the 1D-BRNN, would not be a limiting factor for clinical diagnosis if the confidence intervals were appropriately set.

• Language: English
• Keywords: congenital heart disease, magnetic resonance imaging, data synthesis, computational fluid dynamics, blood pressure gradient, machine learning
• Work type: Master's thesis/paper
• Organization: FE - Faculty of Electrical Engineering
• Year: 2023
• PID: 20.500.12556/RUL-150687
• Publication date in RUL: 21.09.2023

Secondary language

• Language: Slovenian
• Title: Ocena hemodinamskih parametrov v koarktaciji aorte z globokim učenjem

Abstract

Neinvazivne diagnostične metode, ki so dostopne, uporabniku prijazne in zahtevajo minimalno strokovno znanje, so v zadnjih letih v zdravstvu pridobile velik pomen. V tem delu se osredotočamo na razvoj in vrednotenje računalniško-podprte metode, ki je osnova za diagnosticiranje srčno žilnih bolezni aorte, kot je koarktacija aorte (CoA, ang. coarctation of the aorta). CoA je prirojena srčna bolezen, ki nastane zaradi zožitve aorte. Zožitev vodi k padcu krvnega tlaka (PD, ang. pressure drop), ki je eden glavnih diagnostičnih pokazateljev. Zlati standard za merjenje padca krvnega tlaka je srčna kateterizacija, ki vključuje meritev krvnega tlaka s katetrom v srčnem ventriklu in v aorti po zožitvi. Zaradi velike invazivnosti te metode merjenja padca krvnega tlaka se zdravniki zanjo redko odločajo. Nadomestne, manj invazivne metode so ehokardiografija, slikanje z magnetno resonanco ali elektrokardiogram. Neinvazivno diagnosticiranje je možno doseči tudi s pomočjo računalniškega modeliranja. Z uporabo numeričnih metod, kot je računalniško modeliranje dinamike tekočin (CFD, ang. computational fluid dynamics) je možno simulirati hemodinamske razmere in parametre. Pred izvedbo numeričnih simulacij potrebujemo pridobiti robne pogoje, običajno na podlagi medicinskih slik. Na primer, slikanje z magnetno resonanco (SSFP-MRI, ang. steady-state free-precession magnetic resonance imaging) omogoča razmejitev ovojnice aorte. Poleg ovojnice potrebujemo za simulacijo tudi polje krvnega pretoka na začetku (ang. inlet) in koncu (ang. outlet) aorte, kar nam omogoča slikanje z magnetno resonanco s faznim kontrastom (ang. PC-MRI, phase contrast magnetic resonance imaging). Po pridobitvi omenjenih robnih pogojev lahko simuliramo hemodinamske razmere in parametre z reševanjem Navier-Stokesovih parcialnih enačb, ki opisujejo pretok viskoznih, nestisljivih tekočin. Za potrebe naše naloge smo imeli na voljo MRI slike s T1 modaliteto za 106 pacientov s CoA pred zdravljenjem in 37 pacientov (izmed prvotnih 106 pacientov) po zdravljenju. Dodatno so bile na volje še slike za 85 oseb z zdravo aorto. Skupno smo imeli na voljo 228 slik s T1 modaliteto. Za nekatere primere je bilo na voljo tudi polje krvnega pretoka v aorti, pridobljenega s PC-MRI. Za primere brez te informacije je bilo polje krvnega pretoka potrebno pridobiti s pomočjo statističnega modela oblike (SSM, ang. statistical shape model). Po pridobitvi robnih pogojev (tj. aortna ovojnica in polje krvnega pretoka na začetku in koncu aorte) smo simulirali hemodinamske razmere in parametre s pomočjo programa Siemens STAR-CCM+ (verzija 13.02, Siemens PLM Software, Plano, TX, USA) na vseh 228 primerih. Simulacija je potekala le za trenutek sistole za namene zmanjšanja simulacijskega časa. S to omejitvijo tudi ne izgubimo pomembne informacije hemodinamskih razmer CoA pacientov, saj so le-te najbolj ekstremne ravno v času sistole. Simulirali smo sledeče hemodinamske parametre: relativni statični tlak (ang. relative static pressure), strižna napetost žilne stene (WSS, ang. wall shear stress), turbulentna kinetična energija (TKE, ang. turbulent kinetic energy), specifična kinetična energija (KE, ang. specific kinetic energy) in hitrost (ang. velocity magnitude). Implementacija CFD tehnike simulacije hemodinamskih razmer in parametrov v klinično prakso omejuje več dejavnikov. Na primer, simulacije so računsko zelo zahtevne, zato je potrebna visoko zmogljiva računalniška oprema (predvsem visoko zmogljiv večjedrni procesor), ki jo stroškovno težko upravičimo v zdravstveni digitalni infrastrukturi. Že z uporabo zmogljivejše računalniške opreme (64 jedrni procesorji) so simulacije za posameznega bolnika dolgotrajne (običajno okoli 2 uri), kar pa omejuje njeno praktično uporabnost. V magistrski nalogi smo razvili in vrednotili nadomestno metodo ocene hemodinamskih parametrov s tehnikami globokega učenja (DL, ang. deep learning). Globoko učenje je podvrsta strojnega učenja (ML, ang. machine learning), ki v osnovi vključuje učenje modelov umetnih nevronskih mrež (ANN, ang. artificial neural network). Velika prednost globokega učenja je, da že naučena nevronska mreža omogoča pridobitev rezultatov na novih podatkih v zelo kratkem času. Poleg tega ni potrebe po visoko zmogljivi računalniški opremi, kar lajša integracijo modelov globokega učenja v klinično okolje. Modeli ANN lahko modelirajo poljubno preslikavo med vhodnimi in izhodnimi podatki. Preslikavo učimo na podlagi učne zbirke vhodnih in izhodnih podatkov, običajno pa večja učna zbirka vodi do večjih sposobnosti modeliranja preslikave z ANN. Zbirke medicinskih podatkov so ponavadi številčno razmeroma omejene (reda 10 ali 100 vzorcev), kar otežuje učenje ANN in doseganje praktično uporabnih sposobnosti teh mrež. Posledično se raziskovalci poslužujejo različnih metod razširitve učne zbirke (ang. augmentation), ki navadno temeljijo na statistični obdelavi originalne učne zbirke. V našem primeru smo s pomočjo SSM uspeli prvotno učno zbirko 228 (realnih) pacientov povečati z dodatnimi 2968 sintetično generiranimi podatki. Na podlagi realnih podatkov smo s SSM generirali oba robna pogoja potrebna za simulacijo: aortno ovojnico in polje krvnega tlaka. Nato smo s programom Siemens STAR-CMM+ simulirali hemodinamske razmere in parametre. Magistrska naloga se osredotoča na primerjalno analizo dveh različnih globokih nevronskih mrež, specializiranih za napovedovanje hemodinamskih parametrov v aorti pri bolnikih s CoA. Uporabili smo globoki nevronski mreži, ki imata različno arhitekturo in sta učeni na podatkih različnih razsežnosti: (i) enodimenzionalno dvosmerno povratno povezano nevronsko mrežo (1D-BRNN, ang. one-dimensional bidirectional recurrent neural network) in (ii) tridimenzionalno konvolucijsko nevronsko mrežo (3D-CNN, ang. three-dimensional convolutional neural network). Mreža 1D-BRNN lahko napoveduje hemodinamske parametre na diskretnih točkah sredinske krivulje v aorti (ang. centerline along the aorta), ki so med seboj razmaknjene 2 mm. Mreža 3D-CNN lahko napoveduje le krvni tlak na prečnih prerezih (ang. cross sections), ki so pravokotni na diskretne točke sredinske krivulje. Oba modela sta učena na istih vhodnih podatkih z različno razsežnostjo: polmer, gradient polmera, koordinate točk na sredinski krivulji, krvni pretok in hitrost krvi skozi prečni prerez. Vse vhodne podatke smo pridobili iz robnih pogojev za simuliranje hemodinamskih parametrov. Eno poglavje je tudi v celoti posvečeno izbiri hiperparametrov 1D-BRNN s pomočjo navzkrižnega preverjanja (ang. cross-validation). V sklopu naloge je bilo izvedenih pet eksperimentov. Prvi eksperiment vključuje učenje 1D-BRNN s 139 realnimi in 2968 sintetičnimi podatki. Naslednji cilj je bil določitev najbolj povednega vhodnega parametra, kar smo dosegli z učenjem večih posamičnih modelov, vsakega zgolj z enim vhodnim parametrom. Uporabili smo identično arhitekturo in učno zbirko kot pri prvem eksperimentu. V naslednjem eksperimentu smo primerjali vpliv realnih in sintetičnih podatkov na natančnost mreže 1D-BRNN. Pri tem eksperimentu sta bila učeni dve nevronski mreži, prva na 139 realnih podatkih (real model), druga pa naključno izbrani podmnožici 139 sintetičnih podatkov (synthetic model). Nadalje smo želeli analizirati vpliv oblike aortskega loka (gothic vs. non-gothic vs. mixed). Pri tem eksperimentu so bili učeni trije različni modeli z zgolj sintetičnimi podatki. Prvi je bil učen z 227 sintetičnimi podatki z gotskim aortskim lokom. Drugi je bil učen na 259 podatkih brez gotskega aortskega loka. Zadnji model pa je bil učen na mešanih podatkih, to je 112 primerov z in 130 brez gotskega aortskega loka. Nazadnje smo primerjali 3D-CNN z 1D-BRNN, pri čemer smo mreži učili na isti podatkovni zbirki. Za vrednotenje modelov je bila rezervirana testna množica 18 realnih vzorcev, ki niso bili uporabljeni niti za učenje nevronskih mrež niti za generiranje sintetičnih podatkov. Analiza sposobnosti naučenih globokih modelov je bila izvedena na podlagi točnosti - srednja napaka (ang. mean) - in natančnosti - standardni odklon napake (ang. standard deviation) - napovedi treh skalarnih hemodinamskih parametrov, na katere močno vpliva koarktacija aorte: (1) padec krvnega tlaka (PD, ang. Pressure drop), (2) največja strižna napetost žilne stene (WSSmax, ang. maximum wall shear stress), in (3) najvišja hitrost na mestu zožitve (Vmax, ang. maximum velocity at stenosis region). Poleg tega je bila izračunana mediana korenske srednje kvadratne napake (RMSE, ang. root mean square error) poteka krvnega tlaka po sredinski krivulji aorte. Natančnost in točnost 1D-BRNN in 3D-CNN za napovedovanja krvnega tlaka sta zelo podobni. CNN je sicer bolj točen pri napovedi poteka krvnega tlaka na sredinski krivulji, saj ima manjšo mediano RMSE (3.23 mmHg) v primerjavi z mediano 1D-BRNN modela (4.25 mmHg). Po drugi strani pa je 1D-BRNN model bolj natančen pri napovedi krvnega padca, saj standardni odklon napake znaša 7.03 mmHg v primerjavi z 8.91 mmHg za CNN model. Podobna sposobnost obeh modelov kaže na smiselnost kompresije tridimenzionalnih hemodinamskih parametrov v enodimenzionalno reprezentacijo na diskretni sredinski krivulji v aorti, saj se s tem ne izgubi bistvena informacija potrebna za napoved hemodinamskih parametrov. Poleg tega nam analiza modelov, učenih s sintetičnimi podatki, razkrije, da sintetični podatki niso dobra razširitev realnih podatkov. To se kaže v večji natančnosti 1D-BRNN modela učenega zgolj z realnimi podatki pri napovedi vseh treh hemodinamskih parametrov (PD, WSSmax in Vmax). Največjo razliko v natančnosti prikazuje standardni odklon napake napovedi PD (5.80 mmHg real model, 10.60 mmHg synthetic model). Sicer magistrska naloga dokazuje, da so sintetični podatki lahko uporabljeni namesto realnih podatkov, vendar kaže, da je ustvarjanje sintetičnih podatkov s SSM preveč poenostavljen način, da bi lahko s tako pridobljenimi sintetičnimi podatki izboljšali natančnost modelov. Nazadnje naloga analizira vpliv aortskega gotskega loka, kjer se kaže višji standardni odklon napake za napoved WSSmax in Vmax pri bolnikih z gotskim lokom. Na primer, vsi trije modeli imajo višji standardni odklon za napoved Vmax pri testnih podatkih z aortskim gotskim lokom: (1) gothic model (0.80 m/s gothic, 0.44 m/s non-gothic), (2) non-gothic model (0.76 m/s gothic, 0.35 m/s non-gothic), (3) mixed model (0.73 m/s gothic, 0.47 m/s non-gothic). Rezultati nakazujejo, da imajo metode globokega učenja visok potencial za nadomestitev CFD, predvsem za napovedovanje padca krvnega tlaka pri pacientih s CoA. Po trenutnih smernicah se priporoča zdravljenje za vse paciente, katerih padec krvnega tlaka presega 20 mmHg. Standardni odklon napake napovedi PD (7.03 mmHg) za 1D-BRNN nakazuje, da bi bil model lahko uporabljen za diagnosticiranje CoA pacientov, če bi bili intervali zaupanja ustrezno določeni.

• Keywords: prirojena srčna bolezen, slikanje z magnetno resonanco, sinteza podatkov, računalniška simulacija dinamike tekočin, padec krvnega tlaka, strojno učenje