Konvolucijska nevronska mreža za ocenjevanje globine z deflektometrijo

Miščič, Andrej (avtor), Kristan, Matej (mentor)

V diplomski nalogi obravnavamo problem ocenjevanja globine odbojnih povr\-šin z deflektometrijo. Klasični pristopi, kot je struktura iz gibanja, na odbojnih površinah ne delujejo, zato se uporabljajo metode deflektometrije. Navadno pristopi, ki temeljijo na teh metodah, uporabijo sinusoiden projekcijski vzorec in s frekvečno analizo in triangulacijo izračunajo globine točk na sliki. Pomanjkljivost takih pristopov je potreba po večih slikah površine in natančni kalibraciji sistema. V nalogi predlagamo metodo DeflectoDepth, ki temelji na konvolucijskih nevronskih mrežah. Za delovanje potrebuje zgolj eno vhodno sliko, za katero napove globino površine in generira masko projekcijskega vzorca. Za namen evalviranja metode smo v sklopu naloge zajeli podatkovno zbirko CarDepth, kjer smo za opazovano površino izbrali karoserije avtomobilov. Mreža DeflectoDepth pri napovedovanju globine dosega povprečno absolutno napako 15.40 mm in pri generiranju maske natančnost $98.5\%$ ter priklic $97.3\%$. Razvili smo tudi različico osnovne metode DeflectoDepth, ki napoveduje zgolj globino. Ta različica dosega povprečno absolutno napako 13.44 mm.

• Jezik: Slovenski jezik
• Ključne besede: konvolucijske nevronske mreže, deflektometrija, ocenjevanje globine, računalniški vid
• Vrsta gradiva: Diplomsko delo/naloga
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2019
• PID: 20.500.12556/RUL-109877
• COBISS.SI-ID: 1538321347
• Datum objave v RUL: 09.09.2019

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: A convolutional neural network for deflectometry-based depth estimation

Izvleček

In this thesis we address the problem of specular surface deflectometry-based depth estimation. Classical approaches, such as structure from motion, fail on specular surfaces -- that's why deflectometry-based methods are used. Typically these methods will use a sinusoidal fringe projection pattern and through use of frequency analysis and triangulation calculate the depth of a particular point. The drawback of these methods is that they require accurately calibrated system and multiple photos of the surface. In the thesis we propose method DeflectoDepth that is based on convolutional neural networks. It only needs one photo in order to work, for which it is able to predict both the depth and the mask of projected pattern. For evaluation purposes we prepared a data set CarDepth, where we used car bodies as the observed surface. Method DeflectoDepth achieves mean absolute error of 15.40 mm at depth estimation and precision of 98.5$\%$ and recall of 97.3$\%$ at mask prediction. We also developed a variant of the base method DeflectoDepth, which only predicts depth. This variant achieved mean absolute error of 13.44 mm.

• Ključne besede: convolutional neural networks, deflectometry, depth estimation, computer vision