An experimental evaluation of adversarial examples and methods of defense

Šircelj, Jaka (author), Skočaj, Danijel (mentor)

In this thesis we perform an experimental analysis and evaluation of different methods for creating adversarial examples, and learn how these affect different types of image classifiers, with the intent to obtain a better understanding of adversarial examples. The adversarial methods are hard to compare, since they use different types of parameters. We introduce a novel visualization technique, called accuracy-perturbation curve, that allows us to perform our comparison much more in depth, without the need to find optimal parameters. With this technique we also evaluate the successfulness of adversarial training as a defensive method. The results showed that radial basis function network classifiers possess an intrinsic property that makes them stronger on adversarial examples, compared to other classifiers, like CNNs, even though they perform poorly on clean images. Also, we noticed a weak correlation between the classifiers ability to generalize and its robustness against attacks.

• Language: English
• Keywords: adversarial examples, neural networks, deep learning, image classification
• Work type: Master's thesis/paper
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2019
• PID: 20.500.12556/RUL-111417
• COBISS.SI-ID: 1538387139
• Publication date in RUL: 30.09.2019

Secondary language

• Language: Slovenian
• Title: Eksperimentalno ovrednotenje nasprotniških primerov in načinov obrambe

Abstract

V tem delu opravimo eksperimentalno analizo in evalvacijo različnih metod generiranja nasprotniških primerov oz. evalviramo njihove vplive na različne tipe klasifikatorjev slik. Namen analize je bil pridobiti čim več znanja o nasprotniških primerih. Metode ustvarjanja nasprotniških primerov je zahtevno primerjati, ker vse uporabljajo drugačne tipe parametrov. Da se znebimo skrbi glede določanja optimalnih parametrov, uvedemo točnostno-perturbacijsko krivuljo, s katero lahko veliko bolj natančno ocenimo, koliko je klasifikator robusten pri obrambi oz. koliko je generator nasprotniških primerov uspešen pri napadu. S to krivuljo smo analizirali tudi obrambno metodo učenja na nasprotniških primerih. Rezultati kažejo, da so mreže z radialnimi baznimi funkcijami naravno bolj robustne proti takšnim napadom, tudi če v večini primerov niso primerne za klasifikacijo slik. Opazili smo še šibko korelacijo med zmožnostjo generalizacije klasifikatorjev ter njihovo odpornostjo pred nasprotniškimi primeri.

• Keywords: nasprotniški primeri, nevronske mreže, globoko učenje, klasifikacija slik