20.500.12556/RUL-95807 Kvantitativno brezkontaktno merjenje energijske porabe iz videa in 3D slik Quantitative Contactless Measurement of Energy Expenditure from Video and 3D images Merjenje porabe energije je pomembno v športni znanosti in medicini, še posebej, kadar želimo oceniti obseg in intenzivnost fizične aktivnosti. Večinoma so pristopi še vedno odvisni od senzorjev ali markerjev, ki jih nameščamo neposredno na telo. V tem delu predstavljamo nov pristop, ki uporablja popolnoma brezkontaktno, avtomatsko metodo, ki temelji na uporabi algoritmov računalniškega vida in cenenih, široko dostopnih slikovnih senzorjev. Pri tem se zanašamo na oceno optičnega in prostorskega toka za izračun histogramov orientiranega optičnega toka (HOOF), ki smo jih dopolnili s histogrami absolutnih tokovnih amplitud (HAFA). Deskriptorje uporabljamo v regresijskem modelu, ki nam omogoča, da ocenimo porabo energije in v manjši meri srčni utrip. Naša metoda je bila testirana v laboratorijskem okolju in v realnih pogojih športne tekme. Podlaga za delo je obsežna študija, kjer smo preizkusili različne modalitete vizualnih podatkov (barvne in infrardeče kamere ter kamere na podlagi čas preleta), različne tipe senzorjev ter različne kombinacije algoritmov v procesnem cevovodu, ki obsega sledenje, modeliranje, napovedovanje in filtriranje rezultatov. Rezultati potrjujejo, da bi lahko energijsko porabo merili izključno na podlagi takšnega brezkontaktnega opazovanja. Majhen del rezultatov naše študije je bil objavljen že na mednarodni konferenci iz področja računalniškega vida, večina rezultatov pa bo poslana v objavo v obliki članka v primerni znanstveni reviji. Measurement of energy expenditure is an important tool in sport science and medicine, especially when trying to estimate the extent and intensity of physical activity. However, most approaches still rely on sensors or markers, placed directly on the body. In this work, we present a novel approach, using a fully contactless, automatic method, that relies on computer vision algorithms and widely available and inexpensive imaging sensors. We rely on the estimation of the optical and scene flow to calculate Histograms of Oriented Optical Flow (HOOF) descriptors, which we subsequently augment with the Histograms of Absolute Flow Amplitude (HAFA). Descriptors are fed into regression model, which allows us to estimate energy consumption, and by lesser extent, the heart rate. Our method has been tested both in lab environment and in realistic conditions of a sport match. This work is based on a comprehensive study, where we tested different modalities of visual data (color and infrared cameras, time-of-flight cameras), different sensor types, and different combinations of algorithms in the processing pipeline, which consists of tracking, modeling, predicting and filtering of the results. Results confirm that energy expenditure could be derived from purely contactless observations using our approach. Small subset of our study has already been published at the international computer vision conference, however the rest of the results will be submitted to the top-level scientific journal. fizična aktivnost poraba energije srčni utrip optični tok prostorski tok strojno učenje jedro RBF sledilnik KCF senzor Kinect squash physical activity energy expenditure heart rate optical flow scene flow machine learning RBF kernel KCF tracker Kinect sensor squash true false false Slovenski jezik Angleški jezik Magistrsko delo/naloga 2017-09-21 11:54:43 2017-09-21 11:54:44 2022-08-10 06:55:37 0000-00-00 00:00:00 2017 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 1970-01-01 38741 Koporec_Gregor_-_Kvantitativno_brezkontaktno_merjenje_energijske_porabe_iz_videa_in_3D_slik.pdf Koporec_Gregor_-_Kvantitativno_brezkontaktno_merjenje_energijske_porabe_iz_videa_in_3D_slik.pdf 1 60018B6A3EA37FA23C6F7B9D9BE19A81 9ada70e7333adf24057cb4c5c165dc730886c3ca7da03282be007ad3e1ee6ac0 da1606be-a1b3-11eb-a523-00155dcfd717 20.500.12556/rul/5eb507bb-f1d2-4356-8e40-2f27446c50e2 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=104447 Fakulteta za elektrotehniko 0 0 0