Pomoč pri igranju klavirja z obogateno resničnostjo

ULČAKAR, JERNEJ (avtor), Čehovin Zajc, Luka (mentor)

V tej diplomski nalogi predstavimo prototipni sistem za učenje igranja klavirja z uporabo konceptov obogatene resničnosti. Sistem je sestavljen iz kamere in projektorja. Kamera se uporablja za snemanje igranja in kalibracijo sistema, medtem ko projektor projicira vizualno vsebino na klaviaturo in okolico. V delu opišemo uporabljeno metodologijo za detekcijo klaviature in tipk, ki je razdeljena na grobo in fino detekcijo, ter metodologijo za vizualno predstavitev melodije. Predstavimo različne načine za postavitev projektorja v prostoru in analiziramo natančnost zaznave. Rezultati evalvacije pokažejo, da je možno ustvariti sistem za učenje igranja klavirja samo z uporabo vizualnih informacij.

• Jezik: Slovenski jezik
• Ključne besede: računalniški vid, projektivna geometrija, obogatena resničnost, klavir, igranje inštrumenta
• Vrsta gradiva: Diplomsko delo/naloga
• Tipologija: 2.11 - Diplomsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2022
• PID: 20.500.12556/RUL-140179
• COBISS.SI-ID: 122902787
• Datum objave v RUL: 12.09.2022

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Playing piano with the assistance of augmented-reality

Izvleček

In the following paper we present a prototype system that is used for piano learning using AR concepts. The system is made out of a camera, a projector and a piano. The camera is used to calibrate piano keys onto the application and for live feed, meanwhile the projector is used to project visual information, such as a melody, onto the piano keys. In the following paper we address used methods for key detection, which is divided into rough detection and fine detection, and methods for visual representation of songs for piano learning. We present different ways of putting the projector in space and analyze the accuracy of detection. The analysis results show that it is possible to assemble a system for piano learning using only visual information.

• Ključne besede: computer vision, projection geometry, augmented reality, piano, playing an instrument