Podrobno

A memory-based deep learning method for long-term visual point tracking
ID Đoković, Lazar (Avtor), ID Kristan, Matej (Mentor) Več o mentorju... Povezava se odpre v novem oknu, ID Lukežič, Alan (Komentor)

.pdfPDF - Predstavitvena datoteka, prenos (2,00 MB)
MD5: 0C5EFF89CDC05FFF08B1CD7BED70F4CC

Izvleček
Dense point tracking estimates long-range trajectories for all reference pixels, making it a powerful representation of video motion. This is particularly challenging in a causal online setting, where future frames are unavailable at inference time, while points may exhibit substantial motion, and undergo occlusion and appearance changes. Maintaining reliable point identities over long videos thus remains challenging, especially when appearances must be updated over time without corrupting dense and temporally stable predictions. We introduce DeMeTer, a dense online point tracker that combines memory-conditioned global matching with localized motion refinement. Instead of matching only static reference features, DeMeTer maintains a confidence-gated appearance memory that updates each point with reliable past observations, enabling re-detection after occlusion or appearance changes. Simultaneously, a separate motion memory stores recent local dynamics, allowing the refininig module to generate accurate and temporally consistent trajectories. This reference-aligned dual-memory architecture separates identity preservation from short-term motion modeling, making explicit re-detection feasible at dense scale while remaining fully causal. DeMeTer establishes a new state-of-the-art by outperforming related methods by 4.1\% in $\delta_{\mathrm{avg}}$, while comfortably running in realtime.

Jezik:Angleški jezik
Ključne besede:Computer vision, Deep learning, Visual point tracking, Correspondence, Optical flow
Vrsta gradiva:Magistrsko delo
Organizacija:FRI - Fakulteta za računalništvo in informatiko
Leto izida:2026
PID:20.500.12556/RUL-190102 Povezava se odpre v novem oknu
Datum objave v RUL:22.10.2026
Število ogledov:133
Število prenosov:47
Metapodatki:XML DC-XML DC-RDF
:
Kopiraj citat
Objavi na:Bookmark and Share

Sekundarni jezik

Jezik:Slovenski jezik
Naslov:Metoda globokega učenja s spominom za dolgoročno vizualno sledenje točk
Izvleček:
Gosto sledenje slikovnim točkam je proces, ki ocenjuje dolgoročne trajektorije za vse referenčne točke, in predstavlja zmogljivo reprezentacijo gibanja v videoposnetkih. To je posebej zahtevno v kavzalnem sprotnem sledenju, kjer prihodnje slike ob času inference v trenutni sliki niso na voljo, premiki točk so lahko drastični, točke se zakrijejo ali spremenijo svoj videz. Zanesljivo ohranjanje identitet točk skozi dolge videoposnetke zato ostaja zahtevno, zlasti kadar je potrebno njihovo podobo skozi čas posodabljati, ne da bi s tem poslabšali stabilnost napovedi. Predstavljamo DeMeTer, gosto sprotno metodo za sledenje točkam, ki združuje globalno ujemanje, pogojeno s pomnilnikom, z lokalno izboljšavo gibanja. Namesto ujemanja zgolj s statičnimi referenčnimi značilkami DeMeTer vzdržuje pomnilnik videza, ki se posodablja na podlagi zaupanja. Ta pomnilnik vsako točko posodablja z zanesljivimi preteklimi meritvami, kar omogoča ponovno zaznavo po zakritju ali spremembi videza. Hkrati ločen pomnilnik gibanja shranjuje kratkoročno lokalno dinamiko, kar modulu za izboljšavo lokacij omogoča ohranjanje natančnih in časovno skladnih trajektorij. Ta z referenčnim okvirjem poravnana arhitektura z dvojnim pomnilnikom ločuje ohranjanje identitete točk od kratkoročnega modeliranja njihovega gibanja. S tem omogoča eksplicitno gosto ponovno zaznavo ob popolni kavzalnosti. DeMeTer postavlja novo stanje tehnike in sorodne metode preseže za 4,1\% po metriki $\delta_{\mathrm{avg}}$, hkrati pa deluje v realnem času.

Ključne besede:Računalniški vid, Globoko učenje, Vizualno sledenje točk, Ujemanje značilk, Optični tok

Podobna dela

Podobna dela v RUL:
Podobna dela v drugih slovenskih zbirkah:

Nazaj