Emotion Recognition on Twitter Using Neural Networks

Colnerič, Niko (author), Demšar, Janez (mentor)

Deep learning has recently revolutionised many fields of natural language processing but has not yet been applied to emotion recognition. Most recent studies of emotion recognition on tweets used simple classifiers on a combination of bag-of-words and human-engineered features. Hence, we worked on improving emotion-recognition algorithms using neural networks. To this end, we created three large emotion-labelled data sets corresponding to Ekman's, Plutchik's, and POMS's emotions by exploiting Twitter's popular self-annotation mechanism — hashtags. We compared the performance of bag-of-words and latent semantic indexing models with the performance of neural networks. We trained several word- and character-based, recurrent and convolutional neural networks. Further, we investigated the transferability of final hidden state representations of neural networks: how appropriate is the representation trained on one classification for recognising another one? Finally, we developed a single model for recognising all three emotion classifications from a shared representation. We show that neural networks can surpass traditional text classification approaches for emotion recognition. Recurrent neural network working directly on characters without any text preprocessing in a completely end-to-end fashion was the most successful architecture. Although models trained on single data sets have revealed poor transferability, we improved the generality of final hidden state representation in the unison model. When training the unison model, the standard training heuristic yielded unbalanced performance, due to the vast difference in data set sizes. However, the newly proposed training strategy produced a unison model with performance comparable to that of single models.

• Language: English
• Keywords: emotion recognition, text mining, Twitter, recurrent neural networks, convolutional neural networks
• Work type: Doctoral dissertation
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2019
• PID: 20.500.12556/RUL-107807
• Publication date in RUL: 27.05.2019

Secondary language

• Language: Slovenian
• Title: Prepoznavanje čustev na Twitterju z uporabo nevronskih mrež

Abstract

Čeprav prodira globoko učenje na vsa področja procesiranja naravnega jezika, do zdaj še ni bilo uporabljeno za prepoznavanje čustev. Večina dosedanjih študij prepoznavanja čustev na tvitih uporablja preproste klasifikatorje na značilkah, ki pripadajo modelu vreče besed ali pa jih raziskovalci konstruirajo ročno. Glavna tema disertacije je izboljšava modelov za prepoznavanje čustev v tvitih z uporabo nevronskih mrež. V ta namen najprej ustvarimo tri velike podatkovne množice, sestavljene iz učnih primerov, ki so označeni glede na to, katero čustvo po Ekmanovi, Plutchikovi ali POMS-ovi kategorizaciji izražajo. Čustvene oznake pridelamo avtomatsko z uporabo Twitterjevega mehanizma za samooznačevanje vsebine, s t. i. tematskimi oznakami (angl. hashtags). Nato primerjamo natančnost klasifikatorjev z uporabo modelov vreče besed in latentnega semantičnega indeksiranja z natančnostjo nevronskih mrež, tako rekurenčnih kot konvolucijskih, ki na vhodu sprejmejo besede ali znake. Nadalje smo raziskovali prenosljivost reprezentacij končnih skritih stanj modelov nevronskih mrež, natančneje, ali je reprezentacija, naučena pri treniranju modela za neko klasifikacijo čustev, lahko koristna za napovedovanje druge klasifikacije. Zaključimo z učenjem skupnega modela, ki je sposoben prepoznavati čustva vseh treh omenjenih klasifikacij, pri tem pa je omejen na uporabo skupne reprezentacije. Eksperimentalno pokažemo, da so nevronske mreže natančnejše od klasičnih pristopov k prepoznavanju čustev. Kot najnatančnejše se izkažejo rekurenčne mreže, ki na vhodu sprejemajo znake in tako predstavljajo celosten pristop k učenju (angl. end-to-end learning). Čeprav je prenosljivost reprezentacij modelov, ki so trenirani na eni podatkovni množici, precej slaba, se ta drastično izboljša pri skupnem modelu. Pri učenju skupnega modela z znanimi metodami opazimo, da je natančnost zelo neuravnotežena glede na podatkovne množice, predvsem zaradi velike razlike v številu učnih primerov znotraj posamezne množice. Zato zasnujemo novo strategijo treniranja takšnih skupnih modelov, s katero naučimo model, katerega natančnost je uravnotežena čez vse tri podatkovne množice.

• Keywords: prepoznavanje čustev, tekstovna analiza, Twitter, rekurenčne nevronske mreže, konvolucijske nevronske mreže