Podatkovna zbirka redkih realističnih slikovnih anomalij za testiranje generativnih globokih nevronskih mrež

KASTELIC, MARKO (avtor), Perš, Janez (mentor)

V delu se osredotočamo na podatkovne zbirke z anomalijami, ki se uporabljajo za učenje in testiranje nevronskih mrež ali drugih metod strojnega učenja. V takih bazah so podatki razdeljeni v kategoriji normalnih in abnormalnih podatkov. V 1. kategorijo spadajo vsi podatki, za katere imamo na voljo dovolj znanja, znamo jih modelirati in predstavljajo večinski del baze. Pridobivanje teh podatkov je v primerjavi z anomalijami enostavno. V kategorijo abnormalnih podatkov pa sodijo anomalije - podatki, o katerih imamo pomanjkljivo znanje, pojavljajo se redko, pogosto vseh oblik anomalij niti ne poznamo. Zato se v teh primerih uporabljajo generativne nevronske mreže, ki za učenje uporabljajo samo navadne podatke. Zaradi težav pri definiranju abnormalnosti in pridobivanju takih podatkov, je število kakovostnih zbirk z anomalijami veliko manjše od podatkovnih zbirk, kjer so posamezne kategorije podatkov enakomerno zastopane. V tem delu smo tako pripravili novo podatkovno zbirko, ki je izrazito neuravnotežena, abnormalnih podatkov je v primerjavi z normalnimi podatki izjemno malo. Bazo sestavljajo majhne slike zemeljskega površja, ki smo jih dobili iz satelitskih slik, kot anomalije pa so določene slike letal. Pozicije letal na slikah smo dobili s polavtomatsko metodo označevanja, pomagali smo si z ADS-B podatki. Na koncu smo pridobljeno bazo uporabili za testiranje generativne nevronske mreže GANomaly, ki je namenjena detekciji anomalij. Zanimalo nas je, kako razmerje navadnih in abnormalnih podatkov vpliva na rezultate.

• Jezik: Slovenski jezik
• Ključne besede: anomalija, podatkovna zbirka, računalniški vid, detekcija anomalij, ADS-B, GAN, GANomaly
• Vrsta gradiva: Magistrsko delo/naloga
• Organizacija: FE - Fakulteta za elektrotehniko
• Leto izida: 2020
• PID: 20.500.12556/RUL-116157
• Datum objave v RUL: 19.05.2020

KASTELIC, MARKO, 2020, Podatkovna zbirka redkih realističnih slikovnih anomalij za testiranje generativnih globokih nevronskih mrež [na spletu]. Magistrsko delo. [Dostopano 3 maj 2025]. Pridobljeno s: https://repozitorij.uni-lj.si/IzpisGradiva.php?lang=slv&id=116157

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: A Database of Rare Realistic Imaging Anomalies for Testing Generative Deep Neural Networks

Izvleček

The focus of this work are anomalous datasets used for training and evaluation of neural networks or other machine learning algorithms. Data in an anomalous dataset can be categorized into normal and abnormal data. The first category represents the majority of the dataset and includes all data that is well defined, can be modeled well and is also easy to acquire compared to abnormal data. On the other hand we have limited knowledge about the data in the second category which contains anomalous data, with many types of anomalies not being known in advance. For these reasons we use generative neural networks on such tasks and train them using only normal data. Due to many difficulties in defining and acquiring anomalous data, relatively few datasets exist in the literature compared to datasets where all categories of data are well defined and represented equally. In this thesis we created a dataset that is extremely imbalanced, containing much less abnormal data then normal data. The dataset consists of small patches of satellite images, with images of planes being labeled as anomalies. The process of labeling data was semi-supervised and we used ADS-B data to get airplane positions in the satellite images. In the end we used the new dataset to evaluate a generative neural network GANomaly, which was presented for the purpose of anomaly detection, and examined how different ratio of normal and abnormal examples affects the performance of the network.

• Ključne besede: anomaly, dataset, computer vision, anomaly detection, ADS-B, GAN, GANomaly