A deep-learning-based transparent object tracker

Trojer, Žiga (author), Kristan, Matej (mentor), Lukežič, Alan (comentor)

Visual object tracking has focused predominantly on opaque objects, while transparent object tracking received very little attention. Motivated by the uniqueness of transparent objects in that their appearance is directly affected by the background, the first dedicated evaluation dataset has emerged recently. We contribute to this effort by proposing the first transparent object tracking training datasets Trans2k and Trans1k, which include 156,143 total images across over 3k sequences and are annotated with segmentation masks and bounding boxes. Noting that transparent objects can be realistically rendered by modern renderers, we quantify domain-specific attributes and render the dataset containing visual attributes and tracking situations not covered in the existing object training datasets. We observe a consistent performance boost (up to 16%) across a diverse set of modern tracking architectures when trained using Trans2k, and show insights not previously possible due to the lack of appropriate training sets. In addition, we propose a new transparent object tracker DiETTO, which sets a new state-of-the-art on the recent transparent transparent object tracking benchmark. The datasets, rendering engine and DiETTO will be publicly released, contributing to the efforts toward unlocking the power of modern learning-based trackers and foster new designs in transparent object tracking.

• Language: English
• Keywords: computer vision, tracking, transparent object, dataset
• Work type: Master's thesis/paper
• Typology: 2.09 - Master's Thesis
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2022
• PID: 20.500.12556/RUL-139585
• COBISS.SI-ID: 121430019
• Publication date in RUL: 05.09.2022

Secondary language

• Language: Slovenian
• Title: Sledenje prosojnim objektom z globokim učenjem

Abstract

Dosedanje raziskovanje vizualnega sledenja predmetom je bilo osredotočeno predvsem na sledenje neprosojnim objektom, medtem pa je raziskav, ki se osredotočajo na prosojne objekte, izjemno malo. Ker so prosojni objekti unikatni po izgledu glede na njihovo ozadje, je bila pred kratkim ustvarjena evalvacijska podatkovna zbirka ravno zaradi tega. V tej magistrski nalogi smo želeli prispevati k razvoju omenjenega področja tako, da smo ustvarili učni podatkovni zbirki imenovani Trans2k in Trans1k, ki skupno vsebujeta 156.143 slik v več kot tri tisoč posnetkih in sta označeni s segmentacijskimi maskami in očrtanimi pravokotniki. Ob upoštevanju, da je mogoče prosojne predmete realistično upodobiti s sodobnimi izrisovalniki, smo kvantificirali domensko specifične lastnosti in izrisali nabor podatkov, ki vsebuje želene vizualne lastnosti prosojnih objektov ter želeno gibanje, ki ni bilo zajeto v obstoječih naborih podatkov za sledenje neprosojnim objektom. Ugotovili smo konsistentno povečanje zmogljivosti (do 16 %) v raznolikem naboru sodobnih sledilnih arhitektur ob uporabi podatkovne zbirke Trans2k, s čimer smo pridobili vpoglede, ki prej niso bili mogoči zaradi pomanjkanja primernih podatkovnih zbirk. Poleg tega smo predlagali novo sledilno arhitekturo DiETTO, ki dosega najboljše rezultate na nedavni evalvacijski podatkovni zbirki. Učni podatkovni zbirki, izrisovalnik in DiETTO bodo javno objavljeni z namenom omogočanja razvoja sodobnih sledilnikov, ki temeljijo na učenju, in spodbujanja nove zasnove pri sledenju prosojnim objektom.

• Keywords: računalniški vid, sledenje, prosojni objekti, podatkovna zbirka