Sledenje objektov s segmentacijo in napovedovanjem globinskih barvnih slik

Hvala, Staš (author), Kristan, Matej (mentor)

Segmentacija slike in sledenje objektov postajata vse bolj aktualna na področju računalniškega vida, z velikim potencialom uporabe v kontroli izdelkov v industriji, avtonomnih vozil, itd. V magistrski nalogi obravnavamo problem izboljšave segmentacijskega algoritma z vključitvijo monokularne globine kot dodatne informacije k vhodni RGB sliki na kateri je tarča, ki jo želimo segmentirati oz. ji slediti. Vhod v sledilnik je referenčna RGB slika in ustrezna segmetacijska maska objekta, ki mu želimo slediti. Za naslednjo sliko iste sekvence izluščimo značilke in glede na njihovo kosinusno podobnost z značilkami referenčne slike izračunamo verjetnostno matriko pripadnosti pikslov objektu. Obema slikama napovemo globino in pridobimo matriko podobnosti med globino testne slike in globino objekta v referenčni sliki. Referenčni sliki izrežemo še predlogo objekta, ji izluščimo značilke in s križno korelacijo poiščemo maksimalni odziv na značilkah testne slike. Okoli maksimalnega odziva nato generiramo 2D Gaussovo apriorno verjetnost o lokaciji objekta. Verjetnostno matriko segmentacije, globinsko podobnost in apriori verjetnost lokacije objekta združimo in vstavimo v plitkvo mrežo MergeNet. Rezultat je segmentacijska maska objekta iz testne slike. Naš segmentacijsko globinski sledilnik (SGS) najprej evalviramo na DAVIS2016, kjer smo od osnovnega nenaučenega RGB segmentacijskega modela izboljšali povprečni Jaccardov indeks za 26%. Sledi še evalvacija sledilnika na VOT2016.

• Language: Slovenian
• Keywords: segmentacija, sledenje, monokularna globina, konvolucijske nevronske mreže, računalniški vid
• Work type: Master's thesis/paper
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2019
• PID: 20.500.12556/RUL-112046
• COBISS.SI-ID: 1538445507
• Publication date in RUL: 21.10.2019

HVALA, Staš, 2019, Sledenje objektov s segmentacijo in napovedovanjem globinskih barvnih slik [online]. Master’s thesis. [Accessed 30 March 2025]. Retrieved from: https://repozitorij.uni-lj.si/IzpisGradiva.php?lang=eng&id=112046

Secondary language

• Language: English
• Title: Object tracking by segmentation and color depth image prediction

Abstract

Image segmentation and object tracking are gaining traction in the field of computer vision with applications in industry quality assurance, autonomous vehicles, etc. In the following work we research how we can improve existing segmentation algorithms with the addition of monocular depth to the RGB images where we segment or track the object in question. Input in our tracker is a reference RGB image and corresponding segmentation mask of the tracked object. For the next image of the same sequence we extract the features and based on their cosine similarity with features from reference image we calculate the probability matrix of pixels belonging to the object. Then we predict a depth map for both images and use that to estimate depth similarity matrix based on the depth inside the object on reference image and depth of the test image. Next we cut a template around the object from the reference image, extract the features and use cross correlation with the features from the test image to find the maximum response. We then generate a 2D gaussian a priori probability for object location around the maximum response. Segmentation probability matrix, depth similarity and a priori probability of object location are then merged and serve as an input for a shallow net called MergeNet. Result is a segmentation mask of the object on a test image. Our segmentation depth tracker (SDT) is first evaluated on DAVIS2016, where we achieved 26% improvement of mean Jaccard’s index from the basic untrained RGB segmentational model. We also evaluated our tracker on VOT2016.

• Keywords: segmentation, tracking, monocular depth, convolutional neural networks, computer vision