Multi-Modal Machine Learning for Image-Based Snow Coverage Estimation

Osorio Rivera, Juan Pablo (avtor), Faganeli Pucer, Jana (mentor)

Presence of Snow on Ground (PSG) is a binary variable defined by the World Meteorological Organization (WMO) as when 50% or more of an area is covered in snow. Manual measurement of PSG is labor-intensive and sparse. Automated snow coverage estimation from fixed webcam imagery enables continuous monitoring. In this work, we present an end-to-end pipeline that automatically segments snow on ground in webcam images and tracks snow coverage percentage over time. We employ a two-stage segmentation approach: first identifying ground regions using a MobileNetV3 student model (0.904 IoU) trained on pseudo-labels from an ensemble of foundation models and finetuned with ground truth images, then segmenting snow on the detected ground under the same architecture and procedure (0.887 IoU). Valid region masks are applied concurrently to exclude non-interest areas such as parking lots and distant landscapes. To handle temporal inconsistencies inherent in per-frame predictions, we apply a causal temporal smoother (MAE 0.899%) that leverages image statistics and synchronous meteorological features such as temperature, visibility, and weather codes. The pipeline is deployed across nine cameras at elevations from 300m to 1400m and validated against ARSO meteorological station data. Our results demonstrate highly reliable, physically consistent snow percentage tracking.

• Jezik: Angleški jezik
• Ključne besede: Snow segmentation | Semantic segmentation, webcams, Temporal smoothing, Computer Vision, Deep learning
• Vrsta gradiva: Magistrsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2026
• PID: 20.500.12556/RUL-190718
• Datum objave v RUL: 02.11.2026

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Ocenjevanje snežne odeje iz posnetkov z uporabo večmodalnega strojnega učenja

Izvleček

Prisotnost snega na tleh (PSG) je binarna spremenljivka, ki jo Svetovna meteorološka organizacija (WMO) definira kot vsaj 50% pokritost tal s snegom. Ročno določanje PSG je delovno intenzivno, saj je prostorsko in časovno redko porazdeljeno. Avtomatizirano ocenjevanje snežne odeje iz posnetkov stacionarnih spletnih kamer omogoča neprekinjen nadzor. V tem delu predstavljamo celovito cevovodno arhitekturo, ki iz posnetkov spletnih kamer samodejno segmentira sneg na tleh in spremlja odstotek snežne odeje skozi čas. Uporabljamo dvostopenjski pristop segmentacije: najprej identificiramo območja tal z uporabo “študentskega modela” MobileNetV3 (0,904 IoU), ki ga učimo na psevdo-oznakah ansambla temeljnih modelov, in nato natančno določimo z ročno anotiranimi posnetki (angl. ground truth), nato z uporabo iste arhitekture in postopka segmentiramo sneg naprej določenih tleh (0,887 IoU). Z uporabo mask veljavnih regij izločimo območja, ki za nas niso relevantna, (npr. parkirišča, oddaljena pokrajina). Časovna neskladja, ki so lastnost napovedovanja prisotnosti objektov v posameznih posnetkih, odstranimo z vzročno časovnim glajenjem (MAE 0,899%). Ta izkorišča statistiko slik skupaj z meteorološkimi značilkami, kot so temperatura, vidljivost in vremenske kode. Sistem preizkusimo na devetih kamerah na nadmorskih višinah od 300 m do 1400 m in meteoroloških podatki Agencije Republike Slovenije za okolje (ARSO). Naši rezultati kažejo, da sistem omogoča zanesljivo in dosledno spremljanje odstotka snežne odeje.

• Ključne besede: Označevanje snega, semantična segmentacija, spletne kamere, časovno glajenje, računalniški vid, globoko učenje