Ocenjevanje kvalitete argumentov pri argumentiranem strojnem učenju : magistrsko delo

Pavlič, Matevž (author), Guid, Matej (mentor)

Interaktivna zanka za zajemanje znanja s pomočjo argumentiranega strojnega učenja (angl. argument-based machine learning (ABML) knowledge refinement loop) omogoča interakcijo med metodo strojnega učenja in domenskim strokovnjakom. Predstavlja zmogljivo orodje za zajemanje (elicitacijo) ekspertnega znanja, ki ga lahko uporabimo tudi v težavnih domenah. Strokovnjaku v izbrani domeni omogoča, da se osredotoči le na problematične dele trenutne baze znanja, in mu pomaga pri razlagi avtomatsko izbranih »kritičnih« primerov. Strokovnjak se posveti razlagi le enega primera hkrati, kar olajša podajanje čim ustreznejših argumentov. S pomočjo avtomatsko izbranih »protiprimerov« lahko strokovnjak zazna pomanjkljivosti svojih razlag in na podlagi tega izboljša podane argumente. Nedavno je bilo pokazano, da omenjeni pristop omogoča tudi izdelavo interaktivnega učnega orodja, ki temelji na argumentiranju. Ključna pomanjkljivost tovrstnega orodja, temelječega na argumentiranem strojnem učenju, je bila do sedaj njegova nezmožnost posredovanja koristnih povratnih informacij v zvezi s podanimi argumenti. Ne le učiteljem, ki s sodelovanjem v postopku zajemanja znanja omogočijo izdelavo orodja za poučevanje, pač pa tudi učencem, ki to orodje nato uporabljajo pri usvajanju znanja v izbrani domeni. V delu smo zasnovali tri pristope za podajanje takojšnjih povratnih in formacij o kvaliteti argumentov, uporabljenih v interaktivni zanki za zajemanje znanja s pomočjo argumentiranega strojnega učenja. Za eksperimentalno domeno smo izbrali analizo finančnih izkazov oz. natančneje: napovedovanje bonitetnih ocen podjetij. Naš cilj je bil dvodelen, in sicer pridobiti uspešen napovedni model za napovedovanje bonitetnih ocen, hkrati pa učencem omogočiti usvajanje znanja v tej sicer zahtevni domeni. V eksperimentalnem delu so bili tako učitelj (oz. domenski strokovnjak) kot učenci udeleženi v poskusnih sejah zajemanja znanja, pri tem pa prejemali povratne informacije o svojih argumentih oz. razlagah. Cilj seje z učiteljem je bil pridobiti naprednejše koncepte (značilke oz. atribute), ki dobro opisujejo izbrano domeno in so hkrati primerni za poučevanje ter omogočajo uspešne napovedi. Pri tem je v vlogi učitelja sodeloval strokovnjak s področja financ. Učenci so se v učnih sejah najprej seznanili z učno domeno, nato pa si prizadevali za dosego čim uspešnejšega napovednega modela, pri tem pa v svojih razlagah uporabljali (tudi) učiteljeve naprednejše koncepte. Glavni prispevki dela so: - zasnova treh pristopov za ocenjevanje kvalitete argumentov, uporabljenih v interaktivni zanki za zajemanje znanja s pomočjo argumentiranega strojnega učenja, - implementacija interaktivnega učnega orodja za napovedovanje bonitetnih ocen z uporabo realnih podatkov, - podroben opis učne seje z učencem, in sicer z uporabo vseh treh omenjenih pristopov za ocenjevanje kvalitete argumentov.

• Language: Slovenian
• Keywords: inteligentni tutorski sistemi, interaktivna zanka za zajemanje znanja s pomočjo argumentiranega strojnega učenja, na argumentiranju temelječe interaktivno učno orodje, ocenjevanje kvalitete argumentov, finančna analiza, napovedovanje bonitetnih ocen podjetij, računalništvo, računalništvo in informatika, magisteriji
• Work type: Master's thesis/paper
• Typology: 2.09 - Master's Thesis
• Organization: FRI - Faculty of Computer and Information Science
• Publisher: [M. Pavlič]
• Year: 2015
• Number of pages: 79 str.
• PID: 20.500.12556/RUL-70249
• UDC: 004.85(043.2)
• COBISS.SI-ID: 1536298179
• Publication date in RUL: 10.07.2015

Secondary language

• Language: English
• Title: Estimating the quality of arguments in argument-based machine learning

Abstract

Argument-based machine learning (ABML) knowledge refinement loop enables an interaction between a machine learning algorithm and a domain expert. It represents a powerful knowledge elicitation tool, suitable for obtaining expert knowledge in difficult domains. The loop enables the expert to focus on the most critical parts of the current knowledge base, and helps him or her to argue about automatically chosen relevant examples. The expert only needs to explain a single example at the time, which facilitates articulating arguments. It also helps the expert to improve the explanations by providing (automatically chosen) relevant counter examples. It has been shown recently that ABML knowledge refinement loop also enables design of argumentation-based interactive teaching tool. However, so far the machine was not able to provide neither the teachers (that designed such a tool) nor the students (that used it for learning) with concrete estimations about the quality of their arguments. In this thesis, we have designed three approaches for giving immediate feedback about the quality of arguments used in the ABML knowledge refinement loop. The chosen experimental domain was financial statement analysis, more concretely estimating credit scores of companies (enterprises). Our goal was twofold: to obtain a successful classification model for predicting the credit scores, and to enable the students to learn about this rather difficult domain. In the experimental sessions, both the teacher and the students were involved in the process of knowledge elicitation with the ABML knowledge refinement loop, receiving the feedback about their arguments. The goal of the learning session with the teacher was in particular to obtain advanced concepts (attributes) that describe the domain well, are suitable for teaching, and also enable successful predictions. This was done with the help of a financial expert. In the “tutoring" sessions, the students learned about the intricacies of the domain and strived for the best predictive model as possible, also by using the teacher's advanced concepts in their arguments. The main contributions of this work are: - the design of three approaches for estimating the quality of arguments used in the argument-based machine learning (ABML) knowledge refinement loop, - implementation of argumentation-based interactive teaching tool for estimating credit scores of companies (enterprises), using real data, - a detailed description of the learning session, where the student received three types of feedback about the arguments used.

• Keywords: intelligent tutoring systems, argument-based machine learning knowledge refinement loop, argumentation-based interactive teaching tool, estimating the quality of arguments, financial analysis, credit scoring, computer science, computer and information science, master's degree