Sonifikacija podatkov

ŠKOF, ŽIVA (author), Solina, Franc (mentor), Trček, Denis (co-mentor)

V diplomski nalogi s pomočjo nevronskih mrež vhodne podatke, to so besedila v formatu ASCII, pretvarjamo v glasbo v formatu MIDI. S tem želim doseči, da bi bila nevronska mreža sposobna sonificirati podatke in jim določiti čustveni ton. Nevronsko mrežo učimo na slovenskih besedilih, ki so bila predhodno ročno sonificirana. Cilj naloge je tudi, da poleg slovenskih besedil, z isto mrežo sonificiramo tudi druge vrste podatkov, kot je na primer iskanje po spletu ali sledi GPS naših sprehodov. Vsi vhodni podatki bodo v ASCII formatu. Tako bo mogoče pot, ki jo prehodiš npr. po Rožniku, sonificirati in ji pripisati \sn{obarvano sonifikacijo}. Poleg učenja nevronske mreže se diplomska naloga ukvarja tudi z iskanjem najučinkovitejše oblike vnosa ASCII podatkov v nevronsko mrežo in prilagajanjem že obstoječe nevronske mreže, da bo le ta čimbolj učinkovita pri doseganju zadanega cilja.

• Language: Slovenian
• Keywords: nevronska mreža, sonifikacija, podatki, LSTM, RNN, umetnost, glasba, MIDI
• Work type: Bachelor thesis/paper
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2019
• PID: 20.500.12556/RUL-110068
• COBISS.SI-ID: 1538334403
• Publication date in RUL: 11.09.2019

Secondary language

• Language: English
• Title: Sonification of data

Abstract

The diploma thesis describes a neural network which converts texts in ASCII format into music in MIDI format. The neural network is trained on manually generated sonifications of texts made manually by a composer. The goal is that the sonifications would reflect the emotions contained in the text. With the same neural network other types of data will be used as input for sonification, for example data generated by internet browsing or GPS tracks from walks.

• Keywords: neural network, sonification, data, LSTM, RNN, art, music, MIDI