Grafovske nevronske mreže za klasifikacijo valence iz podatkov sledilnika pogleda

Božak, Tomi (avtor), Šubelj, Lovro (mentor), Slapničar, Gašper (komentor)

V diplomski nalogi smo zasnovali in ovrednotili časovno-prostorsko grafovsko predstavitev podatkov sledilnika pogleda za binarno klasifikacijo valence. Meritve iz zbirke MAHNOB-HCI smo razdelili na desetsekundna okna in jih predstavili kot vozlišča s časovnimi, prostorskimi in fiksacijskimi povezavami. Primerjali smo homogeni GCN in tri heterogene različice z ločenim obravnavanjem relacij, učljivo fuzijo in utežmi povezav. S sedemkratnim prečnim preverjanjem po 22 udeležencih smo jih primerjali z modeli SVM, LightGBM, MLP, GazeMAE in MOMENT. Najboljši rezultat je dosegel SVM na koordinatah pogleda in velikostih zenic (točnost = 70,5 %, makro F1 = 69,7 %), najboljši grafovski model HeteroGCN-MLP pa samo na koordinatah pogleda (65,9 %, 65,8 %). Vsi grafovski modeli so presegli naključni in večinski klasifikator, vendar večja kompleksnost modela ne kaže doslednih izboljšav. V nalogi smo ugotovili, da grafovska predstavitev podatkov sledilnika pogleda vsebuje uporaben signal, vendar agregirane značilke ostajajo uspešnejše in računsko učinkovitejše za binarno klasifikacijo valence.

• Jezik: Slovenski jezik
• Ključne besede: grafovske nevronske mreže, časovno-prostorski grafi, podatki sledilnika pogleda, klasifikacija valence
• Vrsta gradiva: Diplomsko delo/naloga
• Tipologija: 2.11 - Diplomsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2026
• PID: 20.500.12556/RUL-186147
• COBISS.SI-ID: 289391875
• Datum objave v RUL: 27.08.2026

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Graph Neural Networks for Valence Classification from Eye-Tracking Data

Izvleček

In this thesis, we designed and evaluated a spatio-temporal graph representation of eye-tracking data for binary valence classification. Measurements from the MAHNOB-HCI dataset were divided into ten-second windows and represented as nodes connected by temporal, spatial, and fixation edges. We compared a homogeneous GCN with three heterogeneous variants incorporating relation-specific processing, learned relation fusion, and edge weights. Using seven-fold subject-wise cross-validation across 22 participants, we compared them with SVM, LightGBM, MLP, GazeMAE, and MOMENT. The best result was achieved by SVM using gaze coordinates and pupil sizes (accuracy = 70.5 %, macro F1 = 69.7 %), whereas the best graph model, HeteroGCN-MLP, used gaze coordinates alone (65.9 %, 65.8 %). All graph models outperformed the random and majority classifiers, but increasing model complexity did not yield consistent improvements. We conclude that the graph representation of eye-tracking data contains useful information, although aggregated features remain more accurate and computationally efficient for binary valence classification.

• Ključne besede: graph neural networks, spatio-temporal graphs, eye-tracking data, valence classification