Lightweight models for ocular segmentation using the IPAD method

Vidovič, Matevž (avtor), Peer, Peter (mentor), Vitek, Matej (komentor)

It is known that deep neural networks are significantly overparameterized in most cases. Pruning reduces the computational complexity of the network and can even enhance its performance. To address this, we develop a framework for iterative pruning of convolutional neural networks, designed to support a variety of architectures in a user-friendly manner. We apply this framework to U-Net and SegNet models, which were trained for sclera and vein segmentation tasks on ocular images. The models were subsequently pruned using a diverse set of kernel importance measures, including the recently introduced Iterative Pruning with Activation Deviation (IPAD). We analyze the effects of pruning on model performance and compare the success of different kernel importance measures. The results we collected indicate a substantial performance advantage for pruned models over compact models trained from scratch, especially on the more challenging task of vein segmentation. We were able to confirm the superiority of the IPAD method in scenarios where ample training data is available and appropriate steps with respect to hyperparameter optimization can be taken given the computational budget.

• Jezik: Angleški jezik
• Ključne besede: IPAD, neural network pruning, convolutional neural networks, biometrics
• Vrsta gradiva: Diplomsko delo/naloga
• Tipologija: 2.11 - Diplomsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2025
• PID: 20.500.12556/RUL-170320
• COBISS.SI-ID: 243038979
• Datum objave v RUL: 03.07.2025

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Lahki modeli za očesno segmentacijo z metodo IPAD

Izvleček

Znano je, da imajo globoke nevronske mreže v večini primerov veliko več parametrov, kot jih potrebujejo. Rezanje (angl. pruning) zmanjšuje računsko zahtevnost mreže in lahko celo izboljša njeno zmogljivost. V ta namen smo razvili orodje za iterativno rezanje konvolucijskih nevronskih mrež, ki na uporabniku prijazen način omogoča rezanje raznolikih arhitektur. Orodje smo uporabili na modelih U-Net in SegNet, naučenih za segmentacijo beločnice in žil na slikah očes. Modele smo nato rezali z uporabo različnih mer pomembnosti konvolucijskih jeder, vključno z nedavno predstavljenim pristopom Iterative Pruning with Activation Deviation (IPAD). Preučili smo vpliv rezanja na zmogljivost modelov in primerjali uspešnost različnih mer pomembnosti jeder. Zbrani rezultati kažejo na znatno prednost rezanih modelov v primerjavi z modeli, ki so bili od začetka zasnovani kot majhni, zlasti pri zahtevnejši nalogi segmentacije žil. Potrdili smo prevlado metode IPAD v primerih, ko je na voljo dovolj učnih podatkov in je izbira hiperparametrov mogoča v okviru razpoložljivega računalniškega proračuna.

• Ključne besede: IPAD, rezanje nevronskih mrež, konvolucijske nevronske mreže, biometrija