Advanced water scene image augmentation method for deep learning

Koželj, Janja (author), Kristan, Matej (mentor), Zavrtanik, Vitjan (comentor)

More data is required to train better models for various downstream tasks to prevent overfitting and improve generalization, which is often solved by using data augmentation techniques. Because creating large domain specific semantic segmentation datasets is challenging, they are often smaller and contain limited variety of conditions and environments. In this work, we present advanced data augmentation methods, to expand dataset size, quality, and diversity by leveraging large diffusion models capable of introducing novel conditions and environments into the original dataset. We utilize diffusion models to create multiple data augmentation pipelines, apply them on MaSTr1325 dataset, and evaluate performance of a semantic segmentation model trained on the augmented datasets on two other maritime object detection benchmarks. The augmentation methods improve water-edge accuracy and achieve comparable object detection performance on MODS benchmark. Additionally, the detection performance and segmentation accuracy improves when using presented data augmentation methods on a more complex LaRS dataset, most notably the MaskAugment method, which shows a 2.1% mIoU improvement to 93.0% and a 10.5% improvement in F1 score to 60.2% compared to the baseline without advanced augmentation.

• Language: English
• Keywords: computer vision, image augmentation, diffusion models
• Work type: Master's thesis/paper
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2024
• Publication date in RUL: 29.11.2024

Secondary language

• Language: Slovenian
• Title: Napredna metoda bogatenja slik vodnih scen za globoko učenje

Abstract

Da se izognemo pretiranemu prileganju in izboljšamo generalizacijo, je potrebnih čedalje več podatkov za učenje boljših modelov za nadaljnje naloge, za kar se pogosto uporablja različne metode bogatenja podatkov. Ustvarjanje velikih domenskih podatkovnih množic je zahtevno, zato so te pogosto manjše, in vsebujejo vsebujejo omejeno raznolikost pogojev. V tem delu predstavimo napredne metode bogatenja podatkov, ki povečajo velikost, ter izboljšajo kvaliteto in raznolikost podatkovnih množic s pomočjo velikih difuzijskih modelov, ki lahko dodajajo nove razmere in okolja. Z uporabo difuzijskih modelov ustvarimo več metod bogatenja podatkov, ki jih apliciramo na MaSTr1325 podatkovni množici, in evalviramo model za semantično segmentacijo, naučen na posamezni obogateni množici, na dveh drugih podatkovnih množicah za detekcijo ovir v vodnih scenah. Predstavljene metode bogatenja podatkov izboljšajo natančnost zaznavanja vodnega roba, ter dosegajo primerljive rezultate v detekciji objektov na MODS podatkovni množici. Poleg tega, se rezultati v merah detekcije in segmentacije izboljšajo z uporabo predstavljenih metod bogatenja slik na bolj kompleksni podatkovni množici LaRS. Najbolj opazno izboljšanje je doseženo z MaskAugment metodo, ki doseže 2,1% izboljšanje mIoU na 93,0%, in 10,5% izboljšanje F1 mere na 60,2%, v primerjavi z osnovno verzijo brez bogatenja slik.

• Keywords: računalniški vid, bogatenje slik, difuzijski modeli