Computer vision on embedded devices for natural user interfaces

JUVAN, MARK (avtor), Čehovin Zajc, Luka (mentor)

In this diploma thesis, a prototype of a natural user interface concept using DepthAI is presented. DepthAI is an embedded device capable of running complex computer vision algorithms independently, efficiently and with low power consumption. Our interface concept uses DepthAI to run pre-trained convolutional neural networks for face and hand detection. Face and hand positions are then interpreted as gestures, which are used to navigate the tree structure the interface runs on. To evaluate our system in a real-world information display scenario, a group of volunteers was asked to participate. Their feedback was predominantly positive which confirms the feasibility of the presented concept.

• Jezik: Angleški jezik
• Ključne besede: DepthAI, embedded computer vision, convolutional neural networks, human-computer interaction, gestures
• Vrsta gradiva: Diplomsko delo/naloga
• Tipologija: 2.11 - Diplomsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2021
• PID: 20.500.12556/RUL-128928
• COBISS.SI-ID: 78873091
• Datum objave v RUL: 18.08.2021

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Računalniški vid na vgrajenih napravah za naravne uporabniške vmesnike

Izvleček

V okviru te diplomske naloge je predstavljen prototip zasnove naravnega uporabniškega vmesnika, ki uporablja DepthAI, vgrajeno napravo, na kateri lahko neodvisno, učinkovito in z nizko porabo energije tečejo kompleksni algoritmi računalniškega vida. Zasnova vmesnika uporablja DepthAI za zaganjanje vnaprej treniranih konvolucijskih nevronskih mrež, ki zaznavajo obraze in roke. Nato so medsebojni položaji obrazov in rok interpretirani kot geste, uporabljene za navigacijo po drevesni strukturi vmesnika. Zasnova vmesnika je bila s pomočjo skupine prostovoljcev ovrednotena na podlagi prototipa informacijskega zaslona, ki je bil ustvarjen kot implementacija zasnove. Povratne informacije prostovoljcev so bile večinsko pozitivne, kar potrjuje izvedljivost in uporabnost predstavljene zasnove v praksi.

• Ključne besede: DepthAI, vgrajeni računalniški vid, konvolucijske nevronske mreže, interakcija človek-računalnik, geste