Dolgoročno sledenje objektov z uporabo predlaganja regij

REJC, TIM (author), Kristan, Matej (mentor)

V diplomski nalogi naslavljamo problem sledenja poljubnega objekta na sekvenci slik. Predlagamo dolgoročni sledilnik, ki temelji na uporabi siamske konvolucijske nevronske mreže. Izbrani objekt sledenja na sliki detektiramo s predlogo, kjer ujemanje merimo s križno korelacijo na vsaki točki iskalne slike. Predlogo inicializiramo na prvi sliki sekvence, kjer na vhod konvolucijske nevronske mreže podamo izsek slike, ki vsebuje objekt sledenja. Po vsaki lokalizaciji sledenega objekta napovemo ali je prišlo do odpovedi sledenja. Predlagamo dve metodi prilagajanja na vizualno predstavitev tarče. Prva posodablja predlogo, druga pa prilagaja parametre konvolucijske nevronske mreže na način, da je korelacija s predlogo in trenutno lokalizacijo večja. Izvedemo dve analizi, kjer na zbirki LTB35 izmerimo uspešnost dolgoročnega sledena na modifikacijah sledilnika. Pri prvi analizi ugotovimo dobro nastavitev števila in oblik predlaganih regij. Pri drugi analizi pa testiramo uspešnost predlaganih metod posodabljanja vizualnega modela, kjer brez posodabljanja dosežemo F-mero 0.34, s posodabljanjem predloge 0.22, s prilagajanjem parametrov mreže 0.38 in z obema 0.20. Implementaciji, kjer prva sproti uči mrežo in druga brez posodabljanja predloge ali učenja mreže primerjamo z metodami objavljenimi na tekmovanju VOT-LT2018, kjer se slednja uvrsti na 12. mesto, prva pa na 11. mesto.

• Language: Slovenian
• Keywords: sledilnik, konvolucijske nevronske mreže, računalniški vid
• Work type: Bachelor thesis/paper
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2019
• PID: 20.500.12556/RUL-106231
• Publication date in RUL: 13.02.2019

REJC, TIM, 2019, Dolgoročno sledenje objektov z uporabo predlaganja regij [online]. Bachelor’s thesis. [Accessed 20 March 2025]. Retrieved from: https://repozitorij.uni-lj.si/IzpisGradiva.php?lang=eng&id=106231

Secondary language

• Language: English
• Title: Long-term object tracking using region proposals

Abstract

In this thesis we address the problem of tracking an arbitrary object in a sequence of images. We propose a long-term tracker based on the use of Siamese convolutional neural networks. For detection, we use a template with which we compute cross correlation on every point of the search image to find the best matching region. The template is initialized on the first frame, where we crop the image so that it represents only the tracking object and input it to the convolutional neural network. After each localization the tracker detects if tracking has failed. We propose two online methods of updating the visual model. One updates the template and the other fine tunes the parameters of the network. We carried out two analysis, where we measure long-term tracking performance on dataset LTB35 on modifications of our tracker. With the first analysis we find out what is a good setting for generating region proposals. The purpose of the second analysis is to test the proposed methods for updating the visual model. We find out that without updating the visual model, our tracker achieves F-measure of 0.34, when updating the template 0.22, when fine tuning 0.38 and with both methods we get 0.20. Finally we compared the performance of our tracker with the trackers submitted in the VOT-LT2018 challange, and achieved 11th place when fine tuning and 12th without fine tuning or updating the template.

• Keywords: tracker, convolutional neural networks, computer vision