Samodejni merilnik čustvenega stanja socialne interakcije v skupiniBertalanič, Blaž (Avtor) Meža, Marko (Mentor) Blatnik, Aljaž (Komentor) sociometerstrojno učenjerazpoznavanje čustev iz govoramerilec socialne interakcijenRF52811openSmile.Raziskave o človeški interakciji znotraj skupin so leta temeljile le na podatkih, ki so jih preko vprašalnikov prispevali opazovanci v študiji ali pa so jih iz ogleda posnetkov interakcij pripravili strokovnjaki na področju psihologije in pedagogike, ki so nato oblikovali končno oceno. Razvoj tehnologije in manjšanje senzorjev nam sedaj omogoča izdelavo merilnih naprav, s katerimi lahko samodejno merimo ter analiziramo človeške interakcije na neinvaziven način. Z namenom merjenja človeških interakcij sem razvil sistem imenovan Soci-Emo. Z njim merimo interakcije znotraj skupine na podlagi spremljanja pogovorov med posamezniki in določanjem njihovega čustvenega stanja. Sistem je sestavljen iz dveh delov in sicer iz nosljivih merilnih značk in modela za razpoznavo čustvenega stanja iz govora. Merilne značke so sestavljene iz mikrokrmilnika nRF52811 na katerega so priklopljeni mikrofon, microSD kartica, merilnik pospeška, infrardeč sprejemnik in oddajnik. Ti senzorji mi omogočajo samodejno merjenje bližine, gibanja in snemanje govora. Na podlagi meritev senzorjev algoritem v znački ugotovi ali sta dve osebi v bližini in ali se pogovarjata. V tem primeru značka prične s shranjevanjem zvoka na microSD kartico. Izdelane značke omogočajo vsaj 3 ure neprekinjenega delovanja. Iz zajetega zvoka lahko nato razpoznamo čustveno stanje govorcev. Klasificirati sem želel 6 različnih čustev in sicer jezo, gnus, strah, veselje, nevtralnost in žalost. Za to uporabljam s pomočjo strojnega učenja razvit model za klasificiranje čustev v govoru. Model sem razvil na podlagi 6 podatkovnih zbirk, ki vsebujejo posneti govor in podatke o klasifikaciji govora v čustveno stanje govorca. Uporabil sem zbirke CREMA-D, EMO-DB, GEMEP, MSP-IMPROV, RAVDESS in SAVEE. Model deluje na značilkah izračunanih iz govora z orodjem openSmile. Za gradnjo modela sem uporabil kombinacijo konvolucijskih in navadnih nevronskih mrež. Model izbrana čustva v govoru napoveduje z 62% pravilnostjo.20202020-09-14 08:00:02Magistrsko delo/naloga119954sl