Recovery of superquadric parameters from depth images using deep learning

Oblak, Tim (author), Solina, Franc (mentor), Roth, Peter M. (co-mentor)

Reconstruction of 3D space from 2D image data has always been a significant challenge in the field of computer vision. Simple geometric entities are used to describe larger, more complex objects or entire scenes. This representation of the environment allows an autonomous agent to manipulate and interact with it's surroundings. Superquadrics are parametric models, able to describe a wide array of 3D objects using only a few parameters, which makes them a suitable representation in such tasks. In this work, we explore the possibility of using deep learning techniques to successfully recover parameters of a single superquadric from depth images. We present a new framework, which enables us to train deep learning models able to interpret the ambiguous nature of superquadrics in general position. We propose multiple loss functions for usage in supervised and unsupervised learning scenarios. On a synthetic depth image dataset, our best CNN regression model achieves an IoU accuracy of 95% and a speedup of a factor of 240 compared to the classic iterative recovery method.

• Language: English
• Keywords: superquadrics, parametric models, reconstruction, 3D, deep learning, convolutional neural networks, CNN, parameter recovery
• Work type: Master's thesis/paper
• Typology: 2.09 - Master's Thesis
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2020
• PID: 20.500.12556/RUL-120770
• COBISS.SI-ID: 32519171
• Publication date in RUL: 25.09.2020

Secondary language

• Language: Slovenian
• Title: Pridobivanje parametrov superkvadrikov iz globinskih slik s pomočjo globokega učenja

Abstract

Rekonstrukcija trodimenzionalnega prostora z dvodimenzionalnih slik je že od nekdaj pomemben izziv na področju računalniškega vida. Za opis kompleksnih objektov ali celotnih scen se uporabljajo preprosti geometrijski elementi. Predstavitev okolja na takšen način avtonomnemu agentu omogoča upravljanje z vsebovanimi elementi ali pa možnost reagiranja na določene dogodke v okolici. Superkvadriki so parametrični modeli, s katerimi lahko opišemo širok nabor trodimenzionalnih objektov z uporabo majhnega števila parametrov, in so zato primerni elementi za predstavitev okolja. V tem delu raziščemo možnosti uporabe metod globokega učenja v namen uspešne pridobitve parametrov superkvadrika iz globinskih slik. Predstavimo novo ogrodje za učenje modelov globokih nevronskih mrež, ki so sposobni razbrati dvoumnost superkvadrikov v splošni poziciji. V sklopu tega dela predlagamo več funkcij napake, s katerimi lahko modele učimo na nadzorovan ali nenadzorovan način. Na sintetični podatkovni zbirki naš najbolj uspešen CNN regresijski model doseže 95% IoU natančnost in pa 240-kratno pohitritev izvajanja v primerjavi s klasično iterativno metodo.

• Keywords: superkvadriki, parametrični modeli, rekonstrukcija, 3D, globoko učenje, konvolucijske nevronske mreže, CNN, pridobivanje parametrov