Extraction of pulse rate and its variability from video recordings

Finžgar, Miha (author), Podržaj, Primož (mentor)

Physiological measurements are crucial for monitoring human health and well-being. One of the most promising methods for such measurements is remote photoplethysmography (rPPG), a non-contact optical method that uses a digital camera to detect subtle blood volume changes in skin microcirculation. Two key challenges in rPPG relate to ensuring the robust performance of the rPPG algorithms and, upon a thorough statistical evaluation, validating the physiological parameters extracted from the rPPG pulse waveform signals. In part one of our research, an application of a wavelet transform is proposed to decompose the colour signals extracted from facial video recordings to increase the rPPG signals’ dimensionality for the purpose of measuring the pulse rate (PR). In part two, we assess the validity of the rPPG-derived, ultra-short-term pulse rate variability (UST-PRV) metrics (SDNN, RMSSD, pNN50) in a sufficiently rigorous manner. The results show that the algorithm applying the proposed decomposition approach outperforms the state-of-the-art Sub-Band rPPG (SB) algorithm in terms of signal-to-noise ratio and the level of agreement between the measured and reference PRs. The results of UST-PRV analysis show that significant correlation, non-bias, and statistical significance are only obtained for SDNN, partially confirming the validity of the rPPG-derived UST-PRV metrics.

• Language: English
• Keywords: remote photoplethysmography, pulse rate, pulse rate variability, digital signal processing, image processing
• Work type: Doctoral dissertation
• Typology: 2.08 - Doctoral Dissertation
• Organization: FS - Faculty of Mechanical Engineering
• Place of publishing: Ljubljana
• Publisher: [M. Finžgar]
• Year: 2020
• Number of pages: XXX, 164 str.
• PID: 20.500.12556/RUL-122417
• UDC: 004.932:616.12-008.3(043.3)
• COBISS.SI-ID: 43309315
• Publication date in RUL: 10.12.2020

Secondary language

• Language: Slovenian
• Title: Določanje frekvence pulza in njene spremenljivosti iz video posnetkov

Abstract

Meritve fizioloških parametrov so ključne za ocenjevanje posameznikovega zdravstvenega stanja in počutja. Ena izmed najobetavnejših metod, ki omogoča tovrstne meritve, je brezkontaktna fotopletizmografija (rPPG) – optična metoda, pri kateri s pomočjo digitalne kamere zaznavamo majhne volumske spremembe krvi v kožnem mikrožilju. Dva izmed glavnih izzivov, povezanih z rPPG, sta zagotavljanje robustnega delovanja rPPG-algoritmov ter ocenjevanje veljavnosti fizioloških parametrov, pridobljenih iz pulznega signala, izmerjenega s pomočjo rPPG z uporabo celostne statistične analize. V prvem delu te študije je predlagana uporaba valjčne transformacije za dekompozicijo barvnih signalov, pridobljenih iz video posnetkov obrazov, z namenom povečanja števila prostostnih stopenj za izločitev šumnih signalov iz rPPG-signala v sklopu meritev frekvence pulza. V drugem delu pa je ocenjena veljavnost spremenljivosti frekvence pulza v zelo kratkih časovnih intervalih (UST-PRV) prek časovno-domenskih kazalcev SDNN, RMSSD in pNN50. Rezultati prvega dela študije kažejo, da rPPG-algoritem, utemeljen na opisanem postopku dekompozicije barvnih signalov, omogoča doseg večjega razmerja signal?šum ter boljše ujemanje izmerjenih frekvenc pulza z referenčnimi vrednostmi v primerjavi z algoritmom Sub-Band rPPG (SB), ki odraža trenutno stanje znanja in tehnike. Rezultati analize UST-PRV kažejo, da so statistično korelirane, nepristrane in statistično značilne zgolj vrednosti SDNN, kar delno potrjuje veljavnost UST-PRV kazalcev, pridobljenih s pomočjo rPPG.

• Keywords: brezkontaktna fotopletizmografija, frekvenca pulza, spremenljivost frekvence pulza, računalniška obdelava signalov, računalniška obdelava slik