Numerični postopki samodejnega ostrenja za brezlečno holografsko mikroskopijo

Cimperman, Žan (avtor), Bürmen, Miran (mentor), Naglič, Peter (komentor)

Brezlečna holografska mikroskopija je preprosta in kompaktna slikovna tehnika, ki jo sestavlja koherentni vir svetlobe in slikovno tipalo. Opazovani vzorec navadno postavimo čim bliže slikovnemu tipalu, na katerem nastane interferenčni vzorec, znan tudi pod izrazom hologram, ki je posledica interference med referenčnim nespremenjenim elektromagnetnim valom ter sipanim objektnim elektromagnetnim valom. Hologram vsebuje informacijo o amplitudi in fazi elektromagnetnega vala, ki jo je mogoče numerično rekonstruirati. Numerična rekonstrukcija nam v nasprotju s konvencionalno mikroskopijo omogoča naknadno ostrenje na poljubni fokusni razdalji, s čimer hologram nosi trirazsežno informacijo o opazovanih objektih. Za ostro rekonstrukcijo objekta je potrebno izbrati ustrezno fokusno razdaljo, ki je enaka fizični razdalji med objektom in slikovnim tipalom. Fokusno razdaljo lahko določimo ročno z vizualnim ocenjevanjem ali samodejno z uporabo metod samodejnega ostrenja. Algoritme samodejnega ostrenja vrednotimo na sintetičnih in eksperimentalno zajetih hologramih. Prvi so običajno modelirani z metodo kotnega spektra, ki je ista numerična metoda propagacije, kot se uporablja za rekonstrukcijo hologramov. To lahko prikrije nekatere napake, ki nastanejo kot posledica predpostavk numerične propagacije. Poleg tega metoda kotnega spektra ne more modelirati hologramov resnično trirazsežnih predmetov. V nasprotju s tem pa lahko na eksperimentalno zajete holograme vpliva šum in drugi artefakti, ki so posledica neusklajenosti med parametri eksperimentalne postavitve in parametri pripadajočega modela, kot so valovna dolžina svetlobe in velikost slikovnega elementa. Prav tako v tem primeru ne poznamo točne razdalje med objektom in slikovnim tipalom. V magistrskem delu smo predlagali objektivno vrednotenje algoritmov samodejnega ostrenja na hologramih, ki jih modeliramo z Miejevo teorijo in metodo T-matrik. Prednost obeh metod je modeliranje hologramov trirazsežnih sferičnih objektov. Implementirali smo različne algoritme samodejnega ostrenja in jih kvantitativno ovrednotili ter primerjali glede na natančnost določanja fokusne razdalje in časovno učinkovitost. Za potrebe izvajanja iterativnega algoritma za samodejno ostrenje v realnem času smo s pomočjo knjižnice PyOpenCL implementirali algoritme za izvajanje na grafičnih procesorskih enotah. Naša najboljša implementacija algoritma samodejnega ostrenja dosega srednjo absolutno napako 1,61 µm, pri čemer ena iteracija algoritma na hologramu velikosti 1024×1024 traja 330 µs. To omogoča obdelavo približno 20 hologramov na sekundo. Rezultati predstavljajo odlično izhodišče za uporabo v mikrofluidičnih aplikacijah, kjer je za sledenje ter določanje velikosti in lomnega količnika mikroskopskih delcev potrebno izvajanje v realnem času. Prav tako smo preučevali različne arhitekture modelov globokega učenja za napoved fokusne razdalje, premera in lomnega količnika mikroskopskih delcev. Z modeli globokega učenja, ki jih naučimo s sintetičnimi hologrami, modeliranimi na podlagi Miejeve teorije, smo za fokusno razdaljo dosegli najboljšo srednjo absolutno napako 1,60 µm. Srednja relativna napaka napovedi premera je bila pod 0,5 %, srednja relativna napaka napovedi fokusne razdalje in lomnega količnika pa celo pod 0,05 %. Obdelava enega holograma velikosti 150×150 je trajala približno 0,1 ms.

• Jezik: Slovenski jezik
• Ključne besede: brezlečna holografska mikroskopija, Miejeva teorija, metoda T-matrik, metoda kotnega spektra, eksperimentalni hologrami, samodejno ostrenje, metrike ostrosti, metode optimizacije, globoko učenje, dimenzioniranje, lomni količnik
• Vrsta gradiva: Magistrsko delo/naloga
• Organizacija: FE - Fakulteta za elektrotehniko
• Leto izida: 2022
• PID: 20.500.12556/RUL-140830
• COBISS.SI-ID: 122288387
• Datum objave v RUL: 19.09.2022

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Numerical autofocusing methods for lensless holographic microscopy

Izvleček

Lensless holographic microscopy is a simple and compact imaging technique which comprises a coherent light source and an imaging sensor. A sample is usually placed as close as possible to the imaging sensor, on which an interference pattern between the reference and object electromagnetic wave is formed. The interference pattern is also commonly known as a hologram. The hologram encapsulates information about the amplitude and phase of the electromagnetic wave, which can be numerically reconstructed. In contrast to the conventional microscopy, the numerical reconstruction enables refocusing at desired focus planes effectively providing three-dimensional information about the scene. For a correct object reconstruction, a focus plane must be selected, which corresponds to the exact distance between the object and imaging sensor. The focus plane can be selected manually with visual inspection or automatically using an autofocusing method. Autofocusing algorithms are evaluated on synthetic and experimentally acquired holograms. Synthetic holograms are commonly modelled with the angular spectrum method, which is the same numerical propagation method as used for the reconstruction of holograms. Unfortunately, this may conceal some errors, that stem from the presumptions of the propagation method. In addition, angular spectrum method cannot model holograms of truly three-dimensional objects. In contrast, experimentally acquired holograms can be affected by noise and artefacts resulting from mismatch between parameters of the experimental setup and parameters of the propagation model, such as source wavelength and pixel size. Furthermore, the exact distance between the object and the imaging sensor is not known. In this work, we objective evaluate autofocusing algorithms on holograms modelled by Mie theory and T-matrix method. Both methods can model holograms of truly three-dimensional spherical objects. We implemented different autofocusing algorithms, which were objectively evaluated and compared according to the accuracy of the estimated focal plane and computational cost. Subsequently, we presented a proof-of-concept real-time implementation of the iterative autofocusing algorithm based on the PyOpenCL framework for execution on graphics processing units. Our best implementation resulted in an average absolute error of 1.61 µm, while the computational time for 1024×1024 holograms was 330 µs per iteration. This allows processing of approximately 20 holograms per second. The results provide promising starting point for use in real-time microfluidic applications for tracking and analysis of size and refractive index of microscopic particles. Furthermore, we studied different deep learning architectures for predicting the focus distance, diameter and refractive index of microscopic particles. Models trained on synthetic holograms modelled with Mie theory allowed estimation of the focus distance with a mean absolute error of 1.60 µm. The mean relative errors for the estimation of diameter and refractive index were less than 0.5% and 0.05%, respectively. The estimation time for a hologram of size 150×150 was approximately 0.1 ms.

• Ključne besede: Lensless Holographic Microscopy, Mie Theory, T-Matrix Method, Angular Spectrum Method, Experimental Holograms, Autofocusing, Focus Metrics, Optimization Methods, Deep Learning, Sizing, Refractive Index