A robust short-term tracker with redetection

Džubur, Benjamin (author), Kristan, Matej (mentor), Lukežič, Alan (co-mentor)

State-of-the-art long-term visual object tracking methods are limited to predicting target position as an axis-aligned bounding box. Segmentation-based trackers exist, however they do not address long-term disappearances of the target. Thus, by upgrading a short-term segmentation-based tracker with the capability of redetecting a lost target, we develop a new discriminative single shot segmentation tracker -- D3SLT, which is capable of long-term tracking in addition to recovering from short-term tracking failures.We upgrade the previously developed short-term D3S tracker with a global redetection module, based on an image-wide discriminative correlation filter response and Gaussian motion model. An online learned confidence estimation module robustly estimates target disappearance. An additional backtracking module enables recovery from tracking failures and further improves tracking performance. On the bounding box based VOT-LT2021 Challenge, D3SLT achieves F-score of 0.667, while on LaSOT it achieves success of 0.616 and normalized precision of 0.692. D3SLT achieves results close to those of state-of-the-art long-term trackers while additionally outputting segmentation masks.

• Language: English
• Keywords: computer vision, visual tracking, video segmentation, long-term tracking
• Work type: Master's thesis/paper
• Typology: 2.09 - Master's Thesis
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2022
• PID: 20.500.12556/RUL-140153
• COBISS.SI-ID: 121232131
• Publication date in RUL: 12.09.2022

Secondary language

• Language: Slovenian
• Title: Robustni kratkoročni sledilnik s ponovno detekcijo

Abstract

Najsodobnejši dolgoročni sledilniki so omejeni na napovedovanje položaja tarče z očrtanim pravokotnikom, poravnanim z osmi. Sledilniki, ki temeljijo na segmentaciji obstajajo, a ne naslavljajo dolgoročnih izginotij tarče. Z nadgradnjo kratkoročnega segmentacijskega sledilnika s sposobnostjo ponovne detekcije izgubljene tarče zato razvijemo nov segmentacijski sledilnik D3SLT, ki je poleg okrevanja od kratkoročnih odpovedi sledenja zmožen tudi dolgoročnega sledenja. Predhodno razvit kratkoročni sledilnik D3S nadgradimo z modulom ponovne detekcije, ki deluje na podlagi odziva diskriminativnega korelacijskega filtra nad celotno sliko in Gaussovega gibalnega modela. Za namene robustne napovedi prisotnosti tarče uporabimo modul za oceno zaupanja, ki temelji na sprotnem učenju. Dodaten modul za vzvratno sledenje omogoča okrevanje od odpovedi sledenja in dodatno izboljša uspešnost sledilnika. Na evalvacijski zbirki VOT-LT2021, ki temelji na očrtanih okvirjih, doseže D3SLT F-vrednost 0,667, na zbirki LaSOT pa uspeh 0,616 in normalizirano natančnost 0,692. D3SLT tako dosega rezultate, ki so blizu rezultatom nekaterih najsodobnejših sledilnikov in hkrati generira natančne segmentacijske maske tarč.

• Keywords: računalniški vid, vizualno sledenje, video segmentacija, dolgoročno sledenje