20.500.12556/RUL-121899 Destilacija znanja globokih modelov za biometrijo beločnice Knowledge distillation of deep learning models for sclera biometrics Destilacija znanja je pristop izdelave lahkih modelov s prenosom znanja iz globokih modelov, ki imajo veliko število parametrov, so časovno zahtevni in imajo zelo visoko natančnost. V magistrskem delu ovrednotimo pristop destilacije znanja na področju biometrije očesa. Izdelamo nov postopek pridobitve lahkega modela za segmentacijo beločnice s kombinacijo dveh pristopov, destilacije znanja in rezanja filtrov, ter pokažemo, da sta oba pristopa ključna za uspeh našega postopka. S predstavljenim izvirnim postopkom pridobitve lahkega modela odstranimo 74 % operacij s plavajočo vejico za eno sklepanje in 73,2 % parametrov ter izgubimo 1,27 % natančnosti, poleg tega pa odstranimo 2-krat toliko parametrov kot najsodobnejši model in v primerjavi izgubimo le 1,74 % natančnosti. V luči te primerjave na koncu identificiramo možne nadgradnje, ki imajo potencial za izboljšanje našega pristopa. Knowledge distillation is a technique for the development of lightweight models by transferring knowledge from a deep model with high memory footprint and high computational complexity. In this work we evaluate knowledge distillation for eye biometrics. We propose a new algorithm for creating a lightweight model for sclera segmentation by combining knowledge distillation with filter pruning and show that both techniques are key to achieving good results. With the presented algorithm we remove 74% floating point operations needed for one inference and 73.2% parameters and sacrifice 1.27% of the accuracy. In addition, we remove twice as many parameters as the current state-of-the-art filter pruning approach and in comparison sacrifice 1.74% of the accuracy. In the light of this comparison, we identify possible improvements that have a potential to further increase the accuracy of our algorithm. destilacija znanja rezanje filtrov konvolucijske nevronse mreže beločnica segmentacija knowledge distillation filter pruning convolutional neural networks sclera segmentation true false false Slovenski jezik Angleški jezik Magistrsko delo/naloga 2020-11-06 10:50:09 2020-11-06 10:50:15 2024-03-04 09:10:40 0000-00-00 00:00:00 2020 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 24601 37218051 Bizjak_Matic_-_Destilacija_znanja_globokih_modelov_za_biometrijo_belocnice.pdf Bizjak_Matic_-_Destilacija_znanja_globokih_modelov_za_biometrijo_belocnice.pdf 1 011BC553CB21B2BCECB71D3E632A8CB4 27dc365f0ccc2da7171ecc3dcf4396e941aaf0975a6d12d66b118e674e71b1ce 020fbabb-a1bb-11eb-a523-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=136995 Fakulteta za računalništvo in informatiko 0 0 0