Zaznavanje ovir na vodni gladini na podlagi detekcije anomalij s kaskadno strukturo učnih podatkov

CVENKEL, TILEN (author), Perš, Janez (mentor), Ivanovska, Marija (comentor)

Magistrska naloga se osredotoča na problematiko zaznavanja ovir na vodni gladini na podlagi vizualnih podatkov, tako na barvnih (RGB), kakor tudi na slikah toplotne kamere. V delu je podana natančna analiza trenutnega stanja tehnike na tem področju, naš prispevek pa se osredotoča na vpeljavo povsem novega pristopa k reševanju omenjene tematike, in sicer z uporabo metod za odkrivanje anomalij, ki temeljijo na enorazrednem učenju. To je učenje le na vzorcih, ki ne vsebujejo anomalij - ovir. Preizkusili smo različne metode, ki se razlikujejo v načinu modeliranja porazdelitve učnih značilk, pridobljenih z uporabo prednaučenih hrbteničnih globokih nevronskih mrež, ter analizirali njihov vpliv na končni rezultat. Uporabljene podatkovne zbirke zajemajo javno dostopni zbirki ImageNet in FLIR Thermal Dataset, kakor tudi namensko zajete podatke, pridobljene med dvema plovbama po reki Ljubljanici. Senzorski sistem, uporabljen za zajem podatkov, je bil razvit v sklopu Laboratorija za strojno inteligenco Fakultete za elektrotehniko v Ljubljani. Ker označevanje množice podatkov zahteva veliko vloženega dela, smo eksperimente zastavili na način, da naslavljajo vprašanje, kako število označenih testnih slik vpliva na evalvacijo uporabljenih algoritmov. Kot glavni prispevek te magistrske naloge lahko izpostavimo dvoje: 1) izdelava podatkovne zbirke označenih slik rečnega okolja v dveh modalitetah, ter 2) vpeljava novega koncepta odkrivanja ovir na vodni gladini, ki temelji na iskanju anomalij v okolju.

• Language: Slovenian
• Keywords: avtonomna plovba, računalniški vid, globoke nevronske mreže, odkrivanje anomalij, ovire na vodni gladini, PaDiM, CSFlow
• Work type: Master's thesis/paper
• Organization: FE - Faculty of Electrical Engineering
• Year: 2022
• PID: 20.500.12556/RUL-138382
• COBISS.SI-ID: 115784195
• Publication date in RUL: 19.07.2022

Secondary language

• Language: English
• Title: Water Obstacle Detection via Anomaly Detection and Cascaded Datasets

Abstract

The master's thesis focuses on the obstacle detection on the water surface on the basis of visual data, both in RGB and thermal modality. The paper provides a detailed analysis of the current state-of-the-art object detection methods in maritime environment. In addition, our paper focuses on the introduction of a completely new approach to solving this problem using anomaly detection methods based on one-class learning, which means learning only on data that lack anomalies - obstacles. We tested different methods that differ in the approach used for feature distribution modelling and analyzed their impact on the final results. The datasets used include the publicly available ImageNet and FLIR Thermal Dataset, as well as data captured during two voyages on the Ljubljanica River. The sensorial system used for data acquisition was developed within the Laboratory for Machine Intelligence at Faculty of Electrical Engineering in Ljubljana. Since annotating a set of data requires a lot of work, we set up the experiments to address the question of how the number of annotated test images affects the evaluation of the algorithms used. The main contribution of this thesis is two folded: 1) creation of an annotated dataset of the river environment in two image modalities, and 2) introduction of a novel approach to obstacle detection on water surface based on anomaly detection methods.

• Keywords: autonomous drive, computer vision, deep neural networks, anomaly detection, obstacles on water surface, PaDiM, CSFlow