20.500.12556/RUL-150473 Hardware constrained fast maritime obstacle detection for autonomous vessels Hitra detekcija vodnih ovir za avtonomna plovila z upoštevanjem omejitev strojne opreme Precise detection of obstacles is needed for the successful navigation of autonomous vessels. Recent approaches use semantic segmentation to better generalize to unknown scenarios. However, the majority do not consider computational complexity and constraints, which makes proposed architectures undeployable on edge VPUs. In this thesis, we develop a novel architecture based on state-of-the-art water segmentation and refinement network WaSR. We explore various encoders and decoder modifications to propose a novel architecture. Based on WaSR, TopFormer, designed for mobile semantic segmentation, and an abstracted transformer architecture MetaFormer, for which we propose previously unused token mixers, we introduce WaSRFormer. It uses a TopFormer-like decoder with MetaFormers for speedup and good practices from WaSR to deal with diverse water features. On challenging MODS benchmark, WaSRFormer achieves 92.98% and 86.27% F1 score overall and inside the danger zone, respectively, with only 0.51% and 0.25% drop in F1 score compared to WaSR. On a modern laptop GPU it runs more than 10x faster (115.45 FPS) than WaSR (10.94 FPS). To emphasize the practical contribution, we deploy WaSRFormer on the embedded low-power hardware OAK-D. While WaSR cannot even fit into this hardware, WaSRFormer comfortably runs at 5.45 FPS. Natačna detekcija ovir je pomembna za uspešno navigacijo avtonomnih plovil. Nedavna dela uporabljajo semantično segmentacijo za boljšo generalizacijo na še ne videnih primerih. Vendar večina predlaganih metod ne upošteva računskih zahtevnosti in omejitev, zaradi česar je modele nemogoče pognati na robnih napravah z vgrajenim VPU. V tem delu razvijemo novo arhitekturo osnovano na najsodobnješi arhitekturi za segmentacijo vodnih ovir, WaSR, in dodatno raziščemo številne kodirnike in modifikacije dekodirnikov. Na podlagi WaSR, TopFormerja, narejenega za hitro semantično segmentacijo, in abstrakcije transformerjev MetaFormerja, za katerega predlagamo še neuporabljene mešalnike žetonov, predstavimo WaSRFormer. Le-ta uporablja dekodirnik osnovan na TopFormerju, v katerega za pospešitev vgradimo MetaFormerje, dodatno pa uporabimo dobre prakse iz WaSR za obdelovanje raznolikih značilk vode. Na zahtevni množici MODS, WaSRFormer doseže 92.98% in 86.27% F1 gledano v celoti in znotraj nevarnega območja. V primerjavi z WaSR je to le 0.51% in 0.25% slabši F1. Na modernem GPU je WaSRFormer več kot 10x hitrejši (115.45 FPS) kot WaSR (10.94 FPS). Da poudarimo praktični prispevek, WaSRFormer poženemo na robni napravi OAK-D z nizko porabo energije. Medtem ko WaSR sploh ni mogoče pognati, WaSRFormer doseže 5.45 FPS. semantic segmentation unmanned surface vehicles mobile network real time performance lightweight network architecture MetaFormer semantična segmentacija vodno avtonomno plovilo mobilne mreže detekcija v realnem času lahke nevronske mreže MetaFormer true false false Angleški jezik Slovenski jezik Magistrsko delo/naloga 2023-09-18 18:49:00 2023-09-18 18:49:00 2023-11-13 12:10:51 0000-00-00 00:00:00 2022 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 33561 130569219 Tersek_Matija_-_Hitra_detekcija_vodnih_ovir_za_avtonomna_plovila_z_upostevanjem_omejitev_strojne.pdf Tersek_Matija_-_Hitra_detekcija_vodnih_ovir_za_avtonomna_plovila_z_upostevanjem_omejitev_strojne.pdf 1 5A90185378AC22C4630C9E29EEAA3D42 cb15ca09e56b42826a8d63f9aa4e5a5c4615d7e7a3ba825c516508b09894033c 455c91b5-5643-11ee-9206-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=175061 Fakulteta za računalništvo in informatiko 0 0 0