Avtomatska transkripcija klavirske glasbe s konvolucijskimi nevronskimi mrežami

MOHORČIČ, DOMEN (avtor), Kononenko, Igor (mentor), Pesek, Matevž (komentor)

V diplomski nalogi obravnavamo problem avtomatske transkripcije glasbe z uporabo globokih nevronskih mrež, natančneje s konvolucijskimi nevronskimi mrežami. Avtomatska transkripcija glasbe je postopek zapisa not iz poslušanja glasbenega posnetka. Preučili smo dosedanje pristope in ugotovili pomanjkanje raziskav o velikosti in o obliki posameznih arhitektur globokih modelov. Raziskali smo uspešnost štirih različnih arhitektur konvolucijskih nevronskih mrež na zbirki klavirskih posnetkov MAPS, ki je pogosta izbira za učenje avtomatske transkripcije glasbe. Preučili smo tudi dva različna pristopa normalizacije spektrogramov: standardizacijo in logaritemsko kompresijo. Izkazalo se je, da na uspešnost transkripcije pozitivno vpliva večje število konvolucijskih plasti v nevronski mreži. Prav tako je bila transkripcija na logaritemsko kompresiranih spektrogramih za 10 \% uspešnejša od transkripcije na standardiziranih spektrogramih.

• Jezik: Slovenski jezik
• Ključne besede: avtomatska transkripcija glasbe, konvolucijska nevronska mreža, klavirska glasba, transformacija s konstantnim Q, logaritemska kompresija
• Vrsta gradiva: Diplomsko delo/naloga
• Tipologija: 2.11 - Diplomsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2021
• PID: 20.500.12556/RUL-129835
• COBISS.SI-ID: 76612099
• Datum objave v RUL: 08.09.2021

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Automatic music transcription of piano music with convolutional neural networks

Izvleček

In this thesis we explore the problem of automatic music transcription using deep neural networks, more specific convolutional neural networks. Automatic music transcription is a task of writing the sheet music from musical recordings. We analysed previous studies and found that there was a lack of research about the size and the shape of architecture of deep models. We explored the performance of four different architectures of convolutional neural networks on the piano recordings dataset MAPS, which is a common benchmark for learning automatic music transcription. We also compared two different normalization techniques for spectrograms: standardization and the logarithmic compression. We found out that the performance of transcription is highly correlated with the higher number of convolutional layers. Transcription is also 10\% more successful with logarithmic compression instead of standardization.

• Ključne besede: automatic music transcription, convolutional neural network, piano music, constant Q transform, logarithmic compression