Maritime obstacle avoidance using sensor data fusion

Muhovič, Jon Natanael (avtor), Perš, Janez (mentor)

The field of autonomous vehicles has recently been growing rapidly. The advances in machine learning and a wider availability of datasets and sensors has enabled a large variety of approaches for scene interpretation used for autonomous navigation. While a large part of interpreting the environment is based on color images, additional sensors can also be used to replace or improve the performance of visible light color cameras. Aside from that, using multiple different sensors in the same system requires precise alignment in order to use them in unison. When dealing with any autonomous platform, careful planning must go towards choosing appropriate sensors, given their capabilities, price and power consumption. While the majority of the research focuses on ground vehicles, air and water platforms are also being actively researched. While many general image processing methods can be used on different platforms without much need for adaptation, there are platform-specific situations that must be addressed if autonomy is to be achieved. Methods and sensors used on each type of autonomous platform must be adapted to different platform dynamics and situations that can be encountered during operation. This can range from using different complementary sensors, defining more fine-grained object classes, or exploiting prior knowledge about the environment. In our work, we focus on marine environments as seen from onboard a small to mid-size autonomous vessel. As the source of dense and informative data, we first used a stereo camera system paired with an IMU sensor to detect obstacles on the water surface. Such a system consumes relatively little power, while producing color images as well as enabling the calculation of a dense 3D point cloud. Additional information from the IMU can further be used to simplify the interpretation of captured data. We show that we are able to detect and track class-agnostic obstacles, which, coupled with GPS, can enable safe navigation during robot operation. Calibration of multimodal systems is an important and often overlooked aspect of using different sensors in a complementary way. Since precise relative positions and orientations of sensors mounted on a platform cannot be measured directly, they must be established via the calibration process. This can be time-consuming, but is crucial if methods such as stereo matching or aligning camera images are to be used. We present a method that can be used to correct stereo camera system calibration parameters during operation. We also present a novel approach for jointly calibrating multimodal systems and show how these methods can facilitate downstream data tasks such as supervised learning. Finally, we used our multimodal sensor system to gather and annotate the first maritime dataset that includes a wide range of different modalities, including multiple cameras and LIDAR. We used the gathered data to develop and train a multimodal method that efficiently uses color images alongside thermal images and LIDAR data to enable scene interpretation even in very difficult low-light circumstances. The proposed dataset is a unique contribution to the field of multimodal maritime systems and can be used for further research into supervised multimodal segmentation and detection methods.

• Jezik: Angleški jezik
• Ključne besede: obstacle detection, sensor fusion, unmanned surface vehicle, calibration
• Vrsta gradiva: Doktorsko delo/naloga
• Tipologija: 2.08 - Doktorska disertacija
• Organizacija: FE - Fakulteta za elektrotehniko
• Leto izida: 2025
• PID: 20.500.12556/RUL-166848
• COBISS.SI-ID: 224579331
• Datum objave v RUL: 28.01.2025

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Izogibanje oviram v morskem okolju z uporabo združevanja senzorskih podatkov

Izvleček

Področje avtonomnih vozil v zadnjem času hitro raste. Napredek v strojnem učenju ter večja dostopnost naborov podatkov in senzorjev sta omogočila veliko različnih pristopov za interpretacijo prizorov, ki se uporabljajo za avtonomno navigacijo. Čeprav velik del interpretacije okolja temelji na barvnih slikah, je mogoče uporabiti tudi dodatne senzorje za nadomestitev ali izboljšanje delovanja barvnih kamer, ki zaznavajo vidno svetlobo. Poleg tega uporaba različnih senzorjev v istem sistemu zahteva natančno poravnavo, da jih lahko uporabljamo usklajeno. Ko imamo opravka s katerokoli avtonomno platformo, je treba skrbno načrtovati izbiro ustreznih senzorjev glede na njihove zmogljivosti, ceno in porabo energije. Medtem ko se večina raziskav osredotoča na kopenska vozila, se aktivno raziskuje tudi zračne in vodne platforme. Čeprav je mogoče na različnih platformah brez večjega prilagajanja uporabljati veliko splošnih metod obdelave slik, obstajajo za platformo specifične situacije, ki jih je treba nasloviti, če želimo doseči avtonomijo. Metode in senzorji, ki se uporabljajo na vsaki vrsti avtonomne platforme, morajo biti prilagojeni različnim dinamikam platforme in situacijam, ki se lahko pojavijo med delovanjem. To lahko obsega uporabo različnih komplementarnih senzorjev, definiranje natančneje določenih razredov predmetov ali izkoriščanje predhodnega znanja o okolju. Pri našem delu se osredotočamo na vodno okolje, kot ga vidimo s krova manjšega avtonomnega plovila. Kot vir gostih in informativnih podatkov smo za zaznavanje ovir na vodni gladini najprej uporabili sistem stereo kamer v kombinaciji s senzorjem IMU. Tak sistem porabi relativno malo energije, hkrati pa omogoča izračun gostega 3D oblaka točk na podlagi barvnih slik. Dodatne informacije iz IMU lahko dodatno uporabimo za poenostavitev interpretacije zajetih podatkov. Predstavili smo metodo, s katero lahko zaznamo in sledimo oviram na vodni gladini, kar skupaj z GPS omogoča varno navigacijo med delovanjem robota. Kalibracija večmodalnih sistemov je pomemben, a pogosto spregledan vidik uporabe različnih senzorjev na komplementaren način. Ker natančnih relativnih položajev in orientacij senzorjev, nameščenih na platformi, ni mogoče neposredno izmeriti, jih je treba določiti prek procesa kalibracije. To je lahko zamudno, vendar je ključnega pomena, če želimo uporabiti metode, kot sta stereo ujemanje ali poravnava slik različnih kamer. Predstavljamo metodo za sprotno popravljanje parametrov stereo sistema kamer. Razvili pa smo tudi pristop za kalibracijo večmodalnih sistemov in pokazali, kako lahko take metode poenostavijo kasnejšo uporabo zajetih podatkov, kot je na primer nadzorovano učenje. Nazadnje smo uporabili naš večmodalni senzorski sistem za zbiranje in označevanje prvega nabora vodnih podatkov, ki vključuje več različnih modalitet, vključno z več kamerami in senzorjem LIDAR. Zbrane podatke smo uporabili za razvoj in učenje multimodalne metode, ki učinkovito uporablja barvne slike skupaj s toplotnimi slikami in podatki LIDAR ter tako omogoči interpretacijo prizorov tudi v zelo težavnih razmerah z nizko svetlobo.

• Ključne besede: zaznavanje ovir, senzorska fuzija, brezpilotno vozilo, kalibracija