Computer vision on embedded devices for natural user interfaces

JUVAN, MARK (author), Čehovin Zajc, Luka (mentor)

In this diploma thesis, a prototype of a natural user interface concept using DepthAI is presented. DepthAI is an embedded device capable of running complex computer vision algorithms independently, efficiently and with low power consumption. Our interface concept uses DepthAI to run pre-trained convolutional neural networks for face and hand detection. Face and hand positions are then interpreted as gestures, which are used to navigate the tree structure the interface runs on. To evaluate our system in a real-world information display scenario, a group of volunteers was asked to participate. Their feedback was predominantly positive which confirms the feasibility of the presented concept.

• Language: English
• Keywords: DepthAI, embedded computer vision, convolutional neural networks, human-computer interaction, gestures
• Work type: Bachelor thesis/paper
• Typology: 2.11 - Undergraduate Thesis
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2021
• PID: 20.500.12556/RUL-128928
• COBISS.SI-ID: 78873091
• Publication date in RUL: 18.08.2021

Secondary language

• Language: Slovenian
• Title: Računalniški vid na vgrajenih napravah za naravne uporabniške vmesnike

Abstract

V okviru te diplomske naloge je predstavljen prototip zasnove naravnega uporabniškega vmesnika, ki uporablja DepthAI, vgrajeno napravo, na kateri lahko neodvisno, učinkovito in z nizko porabo energije tečejo kompleksni algoritmi računalniškega vida. Zasnova vmesnika uporablja DepthAI za zaganjanje vnaprej treniranih konvolucijskih nevronskih mrež, ki zaznavajo obraze in roke. Nato so medsebojni položaji obrazov in rok interpretirani kot geste, uporabljene za navigacijo po drevesni strukturi vmesnika. Zasnova vmesnika je bila s pomočjo skupine prostovoljcev ovrednotena na podlagi prototipa informacijskega zaslona, ki je bil ustvarjen kot implementacija zasnove. Povratne informacije prostovoljcev so bile večinsko pozitivne, kar potrjuje izvedljivost in uporabnost predstavljene zasnove v praksi.

• Keywords: DepthAI, vgrajeni računalniški vid, konvolucijske nevronske mreže, interakcija človek-računalnik, geste