20.500.12556/RUL-119408 Obramba pred sovražnimi napadi na perturbacijske razlage modelov strojnega učenja Protection against adversarial attacks on perturbation based explanations of machine learning models Modeli strojnega učenja se uporabljajo na različnih področjih. Poleg točnosti napovednih modelov je pomembna tudi njihova razumljivost, ki omogoča zaupanje vanje. S pomočjo razumevanja napovednega modela ugotavljamo njegovo pristranskost ter vzroke za napake. Kompleksni modeli, kot so naključni gozdovi, nevronske mreže in metoda podpornih vektorjev, niso enostavno razumljivi in delujejo kot črna škatla, zato za njihovo razlago uporabljamo post-hoc razlagalne metode, ki so neodvisne od modela in za razlago posameznega primera uporabljajo perturbacijsko vzorčenje. Robustnost perturbacijskih metod razlage je do zdaj dokaj slabo raziskana. Nedavna raziskava Slacka in sod. je pokazala, da je zaradi slabega perturbacijskega vzorčenja s temi metodami mogoče manipulirati tako, da ne pokažejo pristranskosti klasifikatorja. V diplomskem delu predlagamo uporabo boljšega vzorčenja, ki prepreči možnost takšnih manipulacij z razlago modelov strojnega učenja. Namesto običajnega perturbacijskega vzorčenja predlagamo vzorčenje, ki deluje s pomočjo modernih generatorjev podatkov, ki bolje zajamejo distribucijo učne množice. V eskperimentu pokažemo, da z izboljšanim vzorčenjem povečamo robustnost razlagalnih metod LIME in SHAP ter pohitrimo konvergenco razlagalne metode IME. Machine learning models are used in various areas. In addition to the accuracy of predictive models, their comprehensibility is also important. Understanding the machine learning model provides confidence in it. By understanding the predictive model, we can determine its bias and causes of errors. Complex models such as random forests, neural networks and support vector machines are not easy to understand and act as black box models; therefore, for their explanations we use post-hoc explanation methods that are model-independent and use perturbation sampling to explain each instance. The robustness of perturbation explanation methods has so far been poorly researched. Recent research has shown that due to poor perturbation sampling, these methods can be manipulated so that they do not recognize a biased classifier. In this work, we propose the use of better sampling, which prevents such manipulations. The proposed sampling uses data generators that better capture the training set distribution. We show that improved sampling increases the robustness of the LIME and SHAP explanation methods and speeds up the convergence of the IME explanation method. razložljiva umetna inteligenca sovražni napadi generatorji podatkov perturbacije LIME SHAP IME MCD--VAE RBF kot generator naključni gozd kot generator explainable AI adversarial attacks data generators perturbations LIME SHAP IME MCD--VAE RBF as data generator random forest as data generator true false false Slovenski jezik Angleški jezik Diplomsko delo/naloga 2020-09-08 13:50:01 2020-09-08 13:50:14 2023-12-28 09:49:04 0000-00-00 00:00:00 2020 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 25809 28861955 Vres_Domen_-_Obramba_pred_sovraznimi_napadi_na_perturbacijske_razlage_modelov_strojnega_ucenja.pdf Vres_Domen_-_Obramba_pred_sovraznimi_napadi_na_perturbacijske_razlage_modelov_strojnega_ucenja.pdf 1 7A74FB5145021452D8A31D12165120A1 f349f8c6cc596d799c970b1833da093abd436b752e5c846bff1e37b1e76899fe d1e826b3-a1b9-11eb-a523-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=134119 Fakulteta za računalništvo in informatiko Fakulteta za matematiko in fiziko 0 0 0