Obstacle detection based on semantic segmentation for autonomous surface vehicles

Bovcon, Borja (avtor), Kristan, Matej (mentor)

Recent research in marine robotics has led to the establishment of a new class of small-size unmanned surface vehicles (USVs) i.e., robotic boats. These vessels present an affordable and highly portable tool for navigating in difficult-to-reach areas (e.g. near dams) that might pose a danger to a human operator. For efficient and uninterrupted navigation in such environments a high level of autonomy is required, which above all depends on timely detection and avoidance of nearby obstacles and floating debris. Various sensors can be used to detect obstacles, however, in this doctoral thesis, we focus on an approach that combines visual cameras with semantic segmentation algorithms. Visual cameras have proven as a lightweight and information-rich sensor, while semantic segmentation algorithms enable indirect detection of arbitrary artefacts (i.e. obstacles) and provide us with a broader scene understanding. In the first part of the thesis, we extend a state-of-the-art hand-crafted graphical model for semantic segmentation to incorporate boat pitch and roll measurements from the on-board inertial measurement unit (IMU). The IMU readings are used to estimate the location of the horizon line in the image, which automatically adjusts the priors in the probabilistic semantic segmentation model. This improves the overall segmentation accuracy, especially in the presence of visual ambiguities, and consequently leads to a better detection rate. To consolidate tentative detections we propose further extending the graphical model with multiple views by adding a constraint that prefers consistent class labels assignment to pixels in each camera image corresponding to the same parts of a 3D scene. This unifies the class-label posterior map and reduces the amount of false alarms. In the second part of the thesis, we propose a novel deep encoder-decoder architecture that is specifically designed for segmentation of the maritime environment. Its deep encoder, coupled with atrous convolutions, is capable of extracting rich visual features, which ensures generalization and accurate segmentation even in the presence of sun glitter and reflections. On the other hand, a novel decoder gradually fuses visual features with inertial information which greatly improves the segmentation accuracy of the water component in the presence of visual ambiguities, e.g. at haze. In addition, a novel loss function is proposed to enforce the separation of different semantic components to further increase the robustness. In the third, and final part of this thesis, we present a new diverse maritime obstacle detection benchmark which contains approximately 81k stereo images synchronized with an on-board IMU, with over 60k objects annotated. In addition to the dataset, we propose a new obstacle segmentation performance evaluation protocol that reflects the detection accuracy in a way meaningful for practical USV navigation. On this benchmark we evaluate our proposed methods and compare their performance to fourteen state-of-the-art segmentation methods. Results show, that our deep-learning-based approach outperforms other methods by a large margin, especially in the danger zone i.e., in the near proximity of the USV.

• Jezik: Angleški jezik
• Ključne besede: obstacle detection, semantic segmentation, robotic boats, autonomous unmanned surface vehicles, scene perception
• Vrsta gradiva: Doktorsko delo/naloga
• Tipologija: 2.08 - Doktorska disertacija
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2022
• PID: 20.500.12556/RUL-144041
• COBISS.SI-ID: 135407363
• Datum objave v RUL: 27.01.2023

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Detekcija ovir s pomočjo semantične segmentacije za avtonomna plovila

Izvleček

Nedavni razvoj na področju pomorske robotike je privedel do ustanovitve novega tipa majhnih robotskih čolnov brez posadke (USV). Takšna plovila so cenovno ugodna in zlahka prenosljiva, uporabljajo pa se predvsem za zbiranje vodnih vzorcev in nadzor v težko dostopnih območjih (npr. blizu jezov), kjer bi plovba lahko predstavljala nevarnost človeškemu operaterju. Za učinkovito in nemoteno plovbo v takih okoljih je potrebna visoka stopnja avtonomije, ki temelji na pravočasnem zaznavanju in izogibanju bližnjim oviram. Kljub temu, da lahko ovire zaznamo s pomočjo različnih senzorjev, se bomo v tej doktorski disertaciji osredotočili le na pristop, ki združuje vizualne kamere z algoritmi semantične segmentacije. Vizualne kamere so se namreč izkazale kot cenovno dostopen in informacijsko bogat senzor, medtem, ko nam algoritmi semantične segmentacije omogočajo posredno zaznavanje poljubnih artefaktov (tj. ovir) in splošno razumevanje okolice. V prvem delu disertacije razširimo v literaturi najsodobnejši ročno izdelan grafični model za semantično segmentacijo s tem, da vanj vključimo meritve naklona in nagiba čolna, pridobljene iz vgrajene inercialne merilne enote (IMU). Odčitki IMU-ja se uporabljajo za pozicioniranje horizonta v sliki in samodejno prilagajanje napovednih ocen v modelu verjetnostne semantične segmentacije. Ta postopek izboljša natančnost segmentacije vode, zlasti ob prisotnosti vizualnih nejasnostih, in posledično vodi k robustnejši detekciji ovir. Kljub temu, lahko predlagana metoda proži številne lažne alarme, ki so posledica vodnih odbleskov. Za konsolidacijo takšnih detekcij predlagamo dodatno razširitev grafičnega modela z uporabo večih kamer, ki poskrbi, da je slikovnemu elementu v vsaki kameri dodeljen isti semantični razred, če ta slikovni element pripada istemu delu 3D scene. Ta proces poenoti posteriorne verjetnosti semantičnih razredov in posledično zmanjša količino lažnih alarmov. V drugem delu disertacije predlagamo novo arhitekturo globoke kodirno-dekodirne nevronske mreže, ki je posebej zasnovana za segmentacijo pomorskega okolja. Globoki kodirnik z atrous konvolucijami je sposoben izluščiti iz slike bogate vizualne značilke, kar omogoča natančno segmentacijo tudi ob prisotnosti sončnih odbleskov in odsevov okoliša. Po drugi strani pa nov dekoder postopoma združuje vizualne značilke z inercijskimi meritvami, kar močno izboljša natančnost segmentacije vodne komponente ob prisotnosti vizualnih nejasnostih, kot je npr. megla. Poleg tega predlagamo še novo cenilno funkcijo, ki spodbuja ločevanje različnih semantičnih komponent za nadaljnje povečanje robustnosti segmentacije. V zadnjem delu te disertacije predstavimo novo bazo podatkov morskega okoliša, ki vsebuje približno 81.000 stereo slik, sinhroniziranih z inercijskimi meritvami, z več kot 60.000 označenimi ovirami različnih izgledov in velikosti. Poleg baze podatkov predlagamo še nov protokol za ocenjevanje uspešnosti algoritmov detekcije ovir, ki odraža natančnost zaznavanja na način, ki je smiseln za praktično navigacijo USV-ja. Na predstavljeni bazi podatkov evalviramo naše predlagane metode in primerjamo njihovo učinkovitost s trinajstimi najsodobnejšimi metodami segmentacije. Rezultati kažejo, da naš pristop, ki temelji na globokem učenju, prekaša druge metode, zlasti v neposredni bližini USV-ja oz. v tako imenovanem nevarnem pasu.

• Ključne besede: odkrivanje ovir, semantična segmentacija, robotski čolni, avtonomna plovila brez posadke, razpoznavanje okolja