Learning to combine local and global image information for contactless palmprint recognition

STOIMCHEV, MARJAN (author), Štruc, Vitomir (mentor), Grm, Klemen (comentor)

Among various biometric technologies, the field of palmprint recognition has attracted great attention in biometrics because of its effectiveness. In the past couple of years there has been a leap from the traditional palmprint recognition methodologies which use handcrafted features, to a deep learning based approaches, especially the convolutional neural network (CNN) models which are able to automatically learn the feature representations from the data. However, the information that is preserved by them is very limited to the most discriminative part of the input, which can be problematic when the data is acquired in unconstrained setting as in case for contactless palmprint images. Also, encoding the palmprint structure in a holistic manner cannot address the issues known to be problematic for contactless palmprint recognition, such as the presence of elastic deformations. In this thesis we address the problem of elastic deformations by presenting a new approach to contactless palmprint recognition that is based on a specially devised CNN model. The model is designed as a two-path architecture, where one path processes the input in a holistic manner, while the second input extracts the local information from sampled image patches from the input image. In this way the local processing path addresses the issues related to elastic deformations thereby compensating the information from the global processing path. At the final stage the most relevant local information is selected by a max-pooling operation across channel dimension, and combined with the global one by a simple concatenation. The model is trained with a combined learning objective which uses the standard cross-entropy and the center loss. By using this design, the discriminative power of the learned features is enhanced while exhibiting high level of robustness to elastic deformations and ensures state-of-the-art performance. The approach was tested on two publicly available contactless palmprint databases, namely, IITD and CASIA database and show that it outperforms several classical palmprint recognition methods, and report comparable results against the state-of-the-art palmprint recognition methods from the literature.

• Language: English
• Keywords: Palmprint Recognition, Contactless Palmprint Images, Elastic Deformations, Convolutional Neural Networks, Deep Learning, Center Loss, Discriminative Feature Learning
• Work type: Master's thesis/paper
• Organization: FE - Faculty of Electrical Engineering
• Year: 2021
• PID: 20.500.12556/RUL-124454
• COBISS.SI-ID: 48595203
• Publication date in RUL: 22.01.2021

Secondary language

• Language: Slovenian
• Title: Učenje združevanja lokalne in globalne slikovne informacije za brezstično razpoznavanje dlani

Abstract

Med številnimi biometričnimi tehnologijami je področje razpoznavanja dlani poželo ogromno pozornosti zaradi svoje učinkovitosti. V zadnjih nekaj letih je prišlo do prehoda iz tradicionalnih metod za razpoznavo dlani, ki uporabljajo ročno izbrane značilke do pristopa, ki temelji na globokem učenju in sicer predvsem na modelih konvolucijskih nevronskih mrež , ki so se zmožni značilke samodejno naučiti iz podatkov, vendar je informacija, ki jo te značilke vsebujejo zelo omejena na najbolj diskriminatoren del vhoda, kar zna biti problematično, ko so vhodni podatki pridobljeni v nenadzorovanih pogojih kot je primer pri brezkontaktnih slikah dlani. Tudi celosten pristop k predstavitvi strukture odtisa dlani ne naslovi najbolj perečih težav pri brezkontaktnem razpozanavanju dlani, kot je na primer prisotnost elastičnih deformacij. V tem delu naslovimo problem elastičnih deformacij s predstavitivijo novega pristopa k brezkontaktnem razpoznavanju dlani , ki temelji na posebej razvitem modelu konvolucijskih nevronskih mrež. Arhitektura modela je sestavljena iz dveh poti, kjer ena izmed poti obdela vhod na celosten način, medtem ko druga pot pridobi lokalne značilke iz slikovnih zaplat, ki so vzorčene iz vhodne slike. Na ta način druga lokalna pot naslovi težave povezane z elastičnimi deformacijami in tako kompenzira informacijo iz poti, ki obdela vhod globalno. Na koncu model združi vso relevantno lokalno informacijo s pomočjo metoda maksimalno združevanje čez vse dimenzije kanalov in združi skupaj z globalno infromacijo s preprostim lepljenjem. Model je naučen s pomočjo kombinirane kriterijske funkcije, ki združuje križno-entropijo in središčna izgubna funkcija. Na ta način je diskriminatorna sposobnost značilk izboljšana hkrati pa obdržijo visoko robustnost na elastične deformacije, kar omogoča uspešnost primerljivo z najsodobnejšo tehnologijo. Pristop je bil preizkušen na dveh javno dostopnih podatkovnih zbirkah za brezkontaktno razpoznavanje dlani in sicer na IITD in CASIA podatkovnih zbirkah, kjer se je izkazalo, da prekaša razne klasične metode razpozanavanja dlani in je hkrati tudi primerljiv z nasodobnješimi metodami iz literature.

• Keywords: Razpoznavanje Dlani, Brezkontaktne Slike Dlani, Elastične Deformacije, Konvolucijske Nevronske Mreže, Globoko Učenje, Središčna Izgubna Funkcija, Diskriminatorno Učenje Značilk