Guitar tablature transcription with deep transformer models

Sok, Igor Nikolaj (avtor), Marolt, Matija (mentor), Gambäck, Björn (komentor)

Automatic guitar tablature transcription remains an under-explored problem in automatic music transcription due to limited real-world annotated data with fretboard annotations and the instrument-specific complexity of assigning tones to a specific fretting position. In this thesis, a transformerbased sequence-to-sequence model for direct audio-to-tablature transcription is presented, inspired by MT3. The model predicts tokens from a vocabulary tailored for guitar tablatures without relying on intermediate sheet music representations. A dedicated tablature tokenization schema is introduced, and a systematic ablation study is conducted to analyse the impact of input audio representation (CQT versus Mel spectrogram), input window length, and vocabulary design. The results indicate that transcription accuracy is strongly influenced by input window length and vocabulary complexity, while the choice of audio representation has minimal effect. The proposed approach achieves performance comparable to existing guitar transcription systems and surpasses them on several evaluation metrics, while highlighting remaining challenges related to dataset limitations, training methods, and generalization.

• Jezik: Angleški jezik
• Ključne besede: guitar, tablature, transcription, transformer models
• Vrsta gradiva: Magistrsko delo/naloga
• Tipologija: 2.09 - Magistrsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2026
• PID: 20.500.12556/RUL-181347
• COBISS.SI-ID: 274333187
• Datum objave v RUL: 02.04.2026

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Transkripcija kitarskih tablatur z globokimi transformerskimi modeli

Izvleček

Avtomatska transkripcija kitarskih tablatur zaradi omejene količine anotiranih podatkov z opisi prijemov na vratu kitare ter kompleksnosti pripisovanja prijema na kitari specifičnim tonom ostaja malo raziskan problem na področju transkripcije glasbe. V magistrski nalogi predstavljamo globok transformerski sekvenčno-sekvenčni model za neposredno transkripicijo iz zvočnega signala v tablaturo. Model je zasnovan na podlagi modela MT3 in napoveduje žetone iz slovarja prilagojenega kitarskim tablaturam brez vmesne pretvorbe v notni zapis. V delu predstavimo prilagojene sheme za pretvorbo kitarskih tablatur v žetone ter izvedemo sistematično ablacijsko študijo, ki analizira vpliv vhodne predstavitve zvoka (CQT proti mel spektrogramu), dolžine zvočnega odseka ter slovarja. Rezultati kažejo, da je kakovost transkripcije močno odvisna od dolžine zvočnega izseka ter kompleksnosti slovarja, medtem ko predstavitev zvoka nima večjega vpliva. Predstavljen pristop dosega rezultate primerljive obstoječim pristopom za transkripcijo kitarske glasbe ter tablatur ter jih v določenih metrikah presega, hkrati pa izpostavlja nadaljnje izzive povezane z omejeno količino podatkov, metodami učenja ter sposobnostjo generalizacije.

• Ključne besede: kitara, tablature, transkripcija, transformerski modeli