20.500.12556/RUL-171187 A distractor-aware memory-based visual object tracking Vizualno sledenje objektom na podlagi pomnilnika z upoštevanjem distraktorjev The Segment Anything Model 2 (SAM2) has recently gained significant attention for its strong performance in segmentation tasks, achieving leading results on numerous benchmarks. However, while SAM2 serves as a powerful foundation for video segmentation, its architecture is not fully optimized for visual object tracking. Specifically, we identify distractors as a key limitation that decreases tracking robustness over time. In this thesis, we refine SAM2’s memory mechanism and propose DAM4SAM: a distractor-aware drop-in memory model for SAM2 paired with an introspection-based management. The memory design successfully reduces tracking drifts to the distractors and improves redetection capability after object occlusion. To fascilate deeper analysis of tracking in the presence of distractors, we construct DiDi, a Distractor-Distilled dataset. DAM4SAM outperforms SAM2.1 on thirteen benchmarks and sets new state-of-the-art results on ten. Moreover, the proposed distractor-aware memory improves the recent SAM2-based realtime tracker EfficientTAM by 11% on DiDi, and also matches SAM2.1-L performance on multiple tracking and segmentation benchmarks, demonstrating strong generalization capabilities. Model Segment Anything 2 (SAM2) je nedavno pritegnil veliko pozornosti zaradi svoje visoke zmogljivosti pri nalogah segmentacije, saj dosega vodilne rezultate na številnih podatkovnih naborih. Čeprav SAM2 predstavlja močno osnovo za segmentacijo v posnetku, njegova arhitektura ni povsem prilagojena vizualnemu sledenju objektom. V tej magistrski nalogi kot ključno omejitev izpostavimo distraktorje, ki skozi čas zmanjšujejo robustnost sledenja. Zato izboljšamo pomnilniški mehanizem SAM2 in predlagamo novo zasnovo pomnilnika, ki za posodabljanje uporablja informacije o prisotnih distraktorjih. Prispevek je v celoti združljiv s SAM2, kar vodi do različice modela, ki jo poimenujemo DAM4SAM. Predlagana zasnova pomnilnika uspešno zmanjšuje negotovost sledenja ob distraktorjih ter izboljša ponovno zaznavo po zakritju objekta. Za poglobljeno analizo sledenja v prisotnosti distraktorjev konstruiramo DiDi -- podatkovno zbirko, ki vsebuje le sekvence z distraktorji. DAM4SAM preseže SAM2.1 na trinajstih podatkovnih zbirkah in postavi nove najboljše rezultate na desetih. Poleg tega predlagana zasnova pomnilnika izboljša nedavni sledilnik za sledenje v realnem času, EfficientTAM, za 11% na zbirki DiDi, in dosega primerljive rezultate z modelom SAM2.1-L na več podtkovnih naborih za sledenje in segmentacijo, kar kaže na močno sposobnost posploševanja. computer vision visual object tracking video object segmentation računalniški vid vizualno sledenje objektom segmentacija objektov v posnetku true false false Angleški jezik Slovenski jezik Magistrsko delo/naloga 2025-08-18 14:10:09 2025-08-18 14:10:16 2025-09-02 09:57:53 0000-00-00 00:00:00 2025 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 37767 247327747 Videnovic_Jovana_-_Vizualno_sledenje_objektom_na_podlagi_pomnilnika_z_upostevanjem_distraktorjev.pdf Videnovic_Jovana_-_Vizualno_sledenje_objektom_na_podlagi_pomnilnika_z_upostevanjem_distraktorjev.pdf 1 D3A3D38C6558C2352E6CE215EAC75AD5 a28d188279b993fcb8e7ed532b96d780a6a802dc8327e12c62ab65f84e41541d 39243d86-7c2c-11f0-9328-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=214253 Fakulteta za računalništvo in informatiko 0 0 0