Hardware constrained fast maritime obstacle detection for autonomous vessels

Teršek, Matija (avtor), Kristan, Matej (mentor), Žust, Lojze (komentor)

Precise detection of obstacles is needed for the successful navigation of autonomous vessels. Recent approaches use semantic segmentation to better generalize to unknown scenarios. However, the majority do not consider computational complexity and constraints, which makes proposed architectures undeployable on edge VPUs. In this thesis, we develop a novel architecture based on state-of-the-art water segmentation and refinement network WaSR. We explore various encoders and decoder modifications to propose a novel architecture. Based on WaSR, TopFormer, designed for mobile semantic segmentation, and an abstracted transformer architecture MetaFormer, for which we propose previously unused token mixers, we introduce WaSRFormer. It uses a TopFormer-like decoder with MetaFormers for speedup and good practices from WaSR to deal with diverse water features. On challenging MODS benchmark, WaSRFormer achieves 92.98% and 86.27% F1 score overall and inside the danger zone, respectively, with only 0.51% and 0.25% drop in F1 score compared to WaSR. On a modern laptop GPU it runs more than 10x faster (115.45 FPS) than WaSR (10.94 FPS). To emphasize the practical contribution, we deploy WaSRFormer on the embedded low-power hardware OAK-D. While WaSR cannot even fit into this hardware, WaSRFormer comfortably runs at 5.45 FPS.

• Jezik: Angleški jezik
• Ključne besede: semantic segmentation, unmanned surface vehicles, mobile network, real time performance, lightweight network architecture, MetaFormer
• Vrsta gradiva: Magistrsko delo/naloga
• Tipologija: 2.09 - Magistrsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2022
• PID: 20.500.12556/RUL-150473
• COBISS.SI-ID: 130569219
• Datum objave v RUL: 18.09.2023

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Hitra detekcija vodnih ovir za avtonomna plovila z upoštevanjem omejitev strojne opreme

Izvleček

Natačna detekcija ovir je pomembna za uspešno navigacijo avtonomnih plovil. Nedavna dela uporabljajo semantično segmentacijo za boljšo generalizacijo na še ne videnih primerih. Vendar večina predlaganih metod ne upošteva računskih zahtevnosti in omejitev, zaradi česar je modele nemogoče pognati na robnih napravah z vgrajenim VPU. V tem delu razvijemo novo arhitekturo osnovano na najsodobnješi arhitekturi za segmentacijo vodnih ovir, WaSR, in dodatno raziščemo številne kodirnike in modifikacije dekodirnikov. Na podlagi WaSR, TopFormerja, narejenega za hitro semantično segmentacijo, in abstrakcije transformerjev MetaFormerja, za katerega predlagamo še neuporabljene mešalnike žetonov, predstavimo WaSRFormer. Le-ta uporablja dekodirnik osnovan na TopFormerju, v katerega za pospešitev vgradimo MetaFormerje, dodatno pa uporabimo dobre prakse iz WaSR za obdelovanje raznolikih značilk vode. Na zahtevni množici MODS, WaSRFormer doseže 92.98% in 86.27% F1 gledano v celoti in znotraj nevarnega območja. V primerjavi z WaSR je to le 0.51% in 0.25% slabši F1. Na modernem GPU je WaSRFormer več kot 10x hitrejši (115.45 FPS) kot WaSR (10.94 FPS). Da poudarimo praktični prispevek, WaSRFormer poženemo na robni napravi OAK-D z nizko porabo energije. Medtem ko WaSR sploh ni mogoče pognati, WaSRFormer doseže 5.45 FPS.

• Ključne besede: semantična segmentacija, vodno avtonomno plovilo, mobilne mreže, detekcija v realnem času, lahke nevronske mreže, MetaFormer