OCENJEVANJE POGLEDA UPORABNIKA Z UPORABO SENZORJA KINECT

KRIVEC, METOD (author), Košir, Andrej (mentor)

Namen diplomskega dela je bilo raziskati uporabnost senzorja Microsoft Kinect za opazovanje pogleda uporabnika in s tem povezane meritve pozornosti uporabnika. Z uporabo razvojnega okolja Microsoft Kinect SDK sem izdelal aplikacijo, ki vizualno prikazuje značilne točke obraza in smer pogleda in te podatke posreduje poljubni drugi aplikaciji. Izdelal sem tudi dodatno spletno aplikacijo, ki zna prikazati točko pogleda uporabnika na poljubno definirani površini. Ta aplikacija je služila kot pripomoček za meritev natančnosti izmerjene smeri pogleda. V prvem delu naloge sem predstavil pomen opazovanja uporabnika v interaktivnih aplikacijah. Predstavil sem osnovne tipe 3D senzorjev in nekaj metod ocene pogleda na podlagi video zapisa običajnih 2D kamer, ter delovanje senzorja Microsoft Kinect. V drugem delu sem opisal razvojno okolje za sledenje obraza ter svojo aplikacijo detekcije pogleda. V zadnjem delu naloge so opisani poskusi in meritve natančnosti opazovanja pogleda. Predstavljena je primerjava koordinat točk obraza in smeri pogleda ter podani rezultati meritev točnosti smeri pogleda v odvisnosti od razdalje uporabnika od senzorja.

• Language: Slovenian
• Keywords: sledenje obraza, ocenjevanje pogleda, Microsoft Kinect
• Work type: Undergraduate thesis
• Organization: FE - Faculty of Electrical Engineering
• Year: 2016
• PID: 20.500.12556/RUL-83602
• Publication date in RUL: 20.06.2016

Secondary language

• Language: English
• Title: GAZE POINT ESTIMATION USING KINECT SENSOR

Abstract

The thesis explores the effectiveness of the Microsoft Kinect sensor for the tracking of human face and estimation of person's gaze point. By using Microsoft Kinect Software Developement Kit we have implemented a face tracking and gaze estimation application, which works as a server providing gaze data for other applications. A web application was developed which visualizes the gaze point and allows measurements of the gaze point accuracy. The first part of the thesis presents an importance of visual user observations, the types of 2D and 3D sensors, and the Kinect sensor. The second part describes in detail the implementation of the gaze point estimation system using the Kinect SDK. The last part of the thesis presents results of the measurements of gaze accuracy with respect to the distance of the user.

• Keywords: face tracking, gaze point estimation, Microsoft Kinect