Inferring Cognitive Load using Wireless Signals

Matkovič, Tilen (author), Pejović, Veljko (mentor)

From not disturbing a focused programmer, to entertaining a restless commuter waiting for a train, ubiquitous computing devices could greatly enhance their interaction with humans, should these devices only be aware of the user's cognitive load. However, current means of assessing cognitive load are, with a few exceptions, based on intrusive methods requiring physical contact of the measurement equipment and the user. In this thesis we propose Wi-Mind, a system for remote cognitive load assessment through wireless sensing. Wi-Mind is based on a software-defined radio-based radar that measures sub-millimeter movements related to a person's breathing and heartbeats, which, in turn allow us to infer the person's cognitive load. We built the system and tested it with 23 volunteers being engaged in different tasks. Results show that while Wi-Mind manges to detect whether one is engaged in a cognitively demanding task, the inference of the exact cognitive load level remains challenging.

• Language: English
• Keywords: vital signs, signal processing, data mining, cognitive load, wireless sensing, software-defined radio
• Work type: Master's thesis/paper
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2018
• PID: 20.500.12556/RUL-105384
• Publication date in RUL: 23.11.2018

Secondary language

• Language: Slovenian
• Title: Ugotavljanje kognitivne obremenjenosti z uporabo brezžičnih signalov

Abstract

Z vsestranskim računalništvom in njegovo interakcijo z ljudmi bi lahko izboljšali uporabniško izkušnjo, če bi naprave lahko razbrale kognitivno obremenjenost uporabnikov. Trenutni načini ocenjevanja kognitivne obremenitve človeka so, z nekaj izjemami, zasnovani na metodah, ki zahtevajo fizični stik merilnih oprem in uporabnika. V tem delu predstavimo sistem Wi-Mind za ocenjevanje kognitivne obremenjenosti človeka z uporabo brezžičnih signalov. Wi-Mind temelji na programsko definiranem radijskem radarju, ki meri zelo majhne gibe človeka, ki so rezultat dihanja in srčnega utripa. Le-to nam omogoča ocenjevanje kognitivne obremenjenosti osebe. Sistem smo preizkusili in testirali na triindvajsetih prostovoljcih, ki so reševali naloge različnih težavnosti. Rezultati kažejo, da Wi-Mind do neke mere lahko ugotovi ali se oseba ukvarja z reševanjem naloge. Ocenjevanje direktne kognitivne obremenjenosti, s katero bi lahko ugotovili uporabnikovo zagnanost v problem, ostaja izziv.

• Keywords: življenjski znaki, procesiranje signalov, podatkovno rudarjenje, kognitivna obremenjenost, brezžično zaznavanje, programsko definirani radio