Tracking Human Pose in 3D Space in Simulated Military Exercises

Markićević, Luka (author), Emeršič, Žiga (mentor)

Simulated military training exercises require pose estimation systems that can handle unusual body configurations and viewpoints. Trainees adopt three key positions during tactical drills: standing, crouching, and prone, with the latter presenting fundamental challenges due to extreme foreshortening and self-occlusion patterns that differ dramatically from standard training datasets. This thesis systematically evaluates state-of-the-art pose estimation methods for tracking human pose in 3D during simulated military drills, examining both 2D-to-3D lifting approaches that reconstruct skeletal joint positions and parametric mesh recovery methods that generate complete body surfaces. The evaluation analyzes accuracy, failure modes, computational efficiency, and practical deployment constraints. Results reveal a clear hierarchy of difficulty, with standing and crouching positions handled robustly by most methods, while prone positions cause most methods to fail. CoMotion emerged as the optimal solution with its tracking-by-attention approach, achieving the best overall performance across all poses while maintaining predictions during occlusions and showing superior precision, though the most extreme prone cases remain challenging.

• Language: English
• Keywords: Human pose estimation, 3D reconstruction, Deep learning, Military simulation, Foreshortening
• Work type: Master's thesis/paper
• Typology: 2.09 - Master's Thesis
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2025
• PID: 20.500.12556/RUL-176854
• COBISS.SI-ID: 262669059
• Publication date in RUL: 11.12.2025

Secondary language

• Language: Slovenian
• Title: Sledenje človeške drže v 3D prostoru pri simuliranih vojaških vajah

Abstract

Simulirane vojaške vaje zahtevajo sisteme za ocenjevanje drže, ki lahko obravnavajo neobičajne telesne konfiguracije in zornih kotov. Vadbenci med taktičnimi vajami zavzamejo tri položaje: stoječi, čepeči in ležeči položaj, pri čemer slednji predstavlja temeljni izziv zaradi skrajnega perspektivnega skrajšanja in vzorcev samoprekrivanja, ki se precej razlikujejo od standardnih učnih podatkovnih zbirk. Magistrsko delo sistematično ovrednoti najsodobnejše metode za ocenjevanje drže pri sledenju človeške drže v 3D prostoru med simuliranimi vojaškimi vajami, pri čemer preuči tako pristope dviga iz 2D v 3D, ki rekonstruirajo položaje skeletnih sklepov, kot tudi metode za parametrično obnovo mreže, ki generirajo celotne telesne površine. Evalvacija overdnoti natančnost, načine napak, računsko učinkovitost in praktične omejitve uvedbe. Rezultati razkrijejo jasno hierarhijo težavnosti, pri čemer večina metod robustno obravnava stoječi in čepeči položaj, medtem ko ležeči položaj povzroči odpoved večine metod. CoMotion se je izkazal kot optimalna rešitev s svojim pristopom sledenja z vzbujanjem pozornosti, ki dosega najboljšo splošno uspešnost v vseh položajih, ohranja napovedi med prekrivanji in kaže superiorno natančnost, čeprav najbolj ekstremni ležeči primeri ostajajo zahtevni.

• Keywords: ocenjevanje poze človeka, 3D rekonstrukcija, globoko učenje, vojaška simulacija, projekcijska distorzija