Robust Obstacle Detection for Unmanned Surface Vehicles

Žust, Lojze (author), Kristan, Matej (mentor)

Unmanned surface vehicles (USVs) offer significant potential for automating repetitive or hazardous maritime tasks, such as hazard inspection, bathymetry, environmental monitoring and public transport. Visual perception is central to enabling autonomous navigation in USVs, yet despite rapid progress in camera-based obstacle detection, domain-specific challenges continue to hinder real-world deployment. This thesis examines and addresses several of these challenges. First, we tackle the high annotation cost of segmentation-based obstacle detection models by introducing a lightweight annotation scheme and a corresponding training method, SLR, which effectively leverages such annotations. Models trained with SLR match and even exceed the performance of fully supervised models while requiring 20× less annotation effort. Next, we address the limited robustness of existing methods to water reflections by proposing a temporally aware model, WaSR-T, which exploits motion cues to distinguish objects from their reflections, resulting in more robust and temporally consistent predictions. We then advocate a shift toward joint instance and semantic segmentation (i.e. panoptic segmentation). To overcome the lack of suitable training data, we introduce LaRS, a large and diverse maritime dataset with high-quality panoptic annotations, and benchmark a wide range of semantic and panoptic segmentation methods to highlight remaining challenges. Finally, we present PanSR, a novel panoptic maritime segmentation method that addresses key architectural limitations of prior work, improving small-object detection, handling of crowded scenes, and instance separation. Overall, this thesis advances maritime obstacle detection through new methods, datasets, and benchmarks that collectively move the field toward panoptic, navigation-aware maritime perception.

• Language: English
• Keywords: maritime vision, obstacle detection, segmentation, panoptic segmentation
• Work type: Doctoral dissertation
• Typology: 2.08 - Doctoral Dissertation
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2026
• PID: 20.500.12556/RUL-189465
• COBISS.SI-ID: 294193411
• Publication date in RUL: 07.10.2026

Secondary language

• Language: Slovenian
• Title: Robustna detekcija ovir za avtonomna plovila

Abstract

Avtonomna plovila ponujajo ogromen potencial za avtomatizacijo ponavljajočih se ali nevarnih vodnih nalog, kot so inšpekcija marin in okolja, batimetrija in javni transport. Vizualna percepcija je ključna za omogočanje avtonomne plovbe, vendar kljub hitremu napredku na področju vizualnega zaznavanja ovir, številni izzivi, ki so specifični vodni domeni, še vedno omejujejo njihovo razširjenost. Ta doktorska disertacija proučuje in obravnava več teh izzivov. Najprej se lotimo visokih stroškov anotacije potrebnih za učenje segmentacijskih modelov in uvedemo poenostavljeno anotacijsko shemo ter pripadajočo metodo učenja, SLR, ki takšne anotacije učinkovito izkorišča. Modeli, naučeni s SLR, dosegajo in celo presegajo zmogljivost polno nadzorovanih modelov, pri tem pa zahtevajo 20× manj anotacijskega časa. Nato obravnavamo omejeno robustnost obstoječih metod pri naslavljanju vodnih odsevov z uvedbo časovnega modela WaSR-T, ki opazuje časovne spremembe za razlikovanje objektov od njihovih odsevov, kar vodi do robustnejših in časovno bolj konsistentnih napovedi. V nadaljevanju zagovarjamo prehod k skupni instančni in semantični segmentaciji (t.j. panoptični segmentaciji). Zaradi pomanjkanja ustreznih učnih podatkov predstavimo LaRS, veliko in raznoliko vodno podatkovno zbirko s kakovostnimi panoptičnimi anotacijami. Izvedemo tudi primerjavo in analizo širokega nabora metod za semantično in panoptično segmentacijo in izpostavimo odprte izzive. Na koncu predstavimo PanSR, novo metodo za panoptično vodno segmentacijo, ki odpravlja ključne arhitekturne omejitve predhodnih pristopov ter izboljšuje zaznavanje majhnih objektov, obravnavo gostih prizorov in ločevanje posameznih instanc. Skupno ta disertacija prispeva k napredku zaznavanja pomorskih ovir z novimi metodami, podatkovnimi nabori in primerjalnimi analizami, ki področje pomikajo proti panoptični vodni percepciji primerni za navigacijo.

• Keywords: vodna percepcija, detekcija ovir, segmentacija, panoptična segmentacija