Reduction of search space for constructive induction using explanations

VOUK, BOŠTJAN (author), Guid, Matej (mentor)

Feature construction can add to the comprehensibility and performance of machine learning models. However, unfortunately it typically requires an exhaustive search in the attribute space or time-consuming human efforts to generate meaningful features. In the dissertation, this challenge is addressed and a novel heuristic approach for reducing the search space based on the aggregation of instance-based explanations of predictive models is proposed. The dissertation, presents an efficient method for constructing explainable features, called EFC (Explainable Feature Construction), which was designed to work seamlessly for both regression and classification problems. The method involves four steps: 1) explaining of model predictions for individual instances; 2) identifying of groups of attributes that commonly appear together in explanations; 3) efficiently creating of constructs from the identified groups; and 4) evaluating the constructs while selecting the best as new features. The EFC method reduces the time needed to construct features and improves the classification accuracy of several classifiers on standard datasets. Further, in the presented study a domain expert validated the plausibility of the generated features on the real domain. Understanding machine learning models is key to improving their usability and ensuring reliable results. This can be achieved by developing interpretable models and using explanation methods. One of the effective explanation methods are perturbation methods, which provide understanding of a model based on changes in model output that occur when the input data changes. In the dissertation, the use of perturbation methods is presented as a tool to reduce the search space and thereby detect informative groups of attributes. The main contribution of the dissertation is the innovative heuristic method applied for reducing the search space in constructive induction based on explanations of predictive models. The method allows the generation of informative groups of candidate constructs that include groups of attributes that commonly appear in local explanations of black-box models. These groups are used to generate meaningful explainable features that improve the predictive performance of several classifiers. While this method significantly reduces the computational complexity of the search, it also enables the effective involvement of a domain expert, which adds to the comprehensibility of predictive models.

• Language: English
• Keywords: explainable artificial intelligence, explanations of individual predictions, feature construction
• Work type: Doctoral dissertation
• Typology: 2.08 - Doctoral Dissertation
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2024
• PID: 20.500.12556/RUL-155117
• COBISS.SI-ID: 189881859
• Publication date in RUL: 20.03.2024

Secondary language

• Language: Slovenian
• Title: Zmanjšanje preiskovalnega prostora za konstruktivno indukcijo z uporabo razlag

Abstract

Konstrukcija značilk lahko prispeva k razumljivosti in učinkovitosti modelov strojnega učenja. Vendar pa je za generiranje smiselnih značilk običajno potrebno izvesti izčrpno preiskovanje prostora atributov ali pa vključiti domenskega eksperta, kar je časovno potratno. V tej disertaciji se ukvarjamo s tem izzivom in predlagamo nov hevristični pristop za zmanjšanje preiskovalnega prostora, ki temelji na združevanju razlag primerov napovednih modelov. V disertaciji predstavimo učinkovito metodo za konstrukcijo razložljivih značilk, imenovano EFC (Explainable Feature Construction), ki deluje tako na klasifikacijskih kot na regresijskih problemih. Metoda vključuje štiri korake: 1) razlago napovedi modela za posamezne primere, 2) določanje skupin atributov, ki se običajno pojavljajo skupaj pri razlagah, 3) učinkovito gradnjo konstruktov iz identificiranih skupin in 4) ocenjevanje konstruktov in izbor najboljših kot nove značilke. Metoda EFC skrajša čas konstrukcije značilk in izboljša napovedno uspešnost za več klasifikatorjev na standardnih podatkovnih množicah, poleg tega pa je bila verodostojnost generiranih značilk na realni domeni potrjena z domenskim ekspertom. Razumevanje modelov strojnega učenja je ključno za izboljšanje njihove uporabnosti in zagotavljanje zanesljivih rezultatov. To lahko dosežemo z razvojem interpretabilnih modelov in z uporabo razlagalnih metod. Ene izmed učinkovitih razlagalnih metod so perturbacijske metode, ki omogočajo razumevanje modela na podlagi sprememb izhodnih rezultatov modela, ki se pojavijo ob spreminjanju vhodnih podatkov. V disertaciji predstavimo uporabo perturbacijskih metod kot pomoč pri zmanjševanju preiskovalnega prostora ter posledično identifikaciji informativnih skupin atributov. Glavni prispevek disertacije je inovativna hevristična metoda za zmanjšanje preiskovalnega prostora pri konstruktivni indukciji, ki temelji na razlagah napovednih modelov. Metoda omogoča generiranje informativnih skupin kandidatov za konstrukte, ki vključujejo skupine atributov, ki se pogosto pojavljajo v lokalnih razlagah modelov črne škatle. Te skupine se uporabijo za generiranje smiselnih razložljivih značilk, ki izboljšajo napovedne uspešnosti več klasifikatorjev. S pomočjo te metode se precej zmanjša računska zahtevnost preiskovanja, hkrati pa se omogoča učinkovito vključevanje domenskega eksperta, kar prispeva k večji razumljivosti napovednih modelov.

• Keywords: razlagalna umetna inteligenca, razlage posameznih napovedi, konstrukcija značilk