20.500.12556/RUL-110080 Ansambli verjetnostnih klasifikacijskih pravil Ensembles of probabilistic classification rules Ansambli združujejo več šibkih napovednih modelov in iz posameznih napovedi gradijo točnejše modele. Pridobitki niso le v večji klasifikacijski točnosti, temveč zmanjšujemo tudi pristranskost in varianco. Ideja diplomske naloge je v ansamble združiti verjetnostna odločitvena pravila. Ta se od navadnih odločitvenih pravil razlikujejo v izhodu, saj nam namesto odločitve o posameznem razredu vrnejo verjetnost zanj. To izkoristimo za gradnjo modela naključnih gaussovskih množic pravil oz. RGRS, ki navdih jemlje iz metode naključnih gozdov. Model za gradnjo vsakega pravila naključno izbere primere in poskuša iz porazdelitve vrednosti atributov sestaviti konjunkt osnovnih gaussovskih pravil. Opišemo tudi alternativno idejo, kjer v ansamblu AdaBoost uporabimo algoritem gradnje pravil CN2SD. Oba pristopa testiramo s prečnim preverjanjem in primerjamo z obstoječimi pristopi. Medtem ko ansambel CN2SD AdaBoost le izboljša točnosti uporabljenega modela, se izkaže, da algoritem RGRS vrača primerljive rezultate kot pogosto uporabljen model C4.5rules, a zaostaja za naključnimi gozdovi in klasifikacijo z mehkimi pravili z algoritmom FURIA. Ensemble methods combine a number of weak classifiers and combine their predictions for more accurate models. The gain is not only an increase of classification accuracy but also decrease in bias and variance. The idea of our work is to build probabilistic classification rule ensembles. Probabilistic rules differ from common classification rules by outputting a class probability estimation instead of a crisp class decision. We build an ensemble model named Random Gaussian Rule Set or RGRS, inspired by the Random Forest method. Our model uses a random sample of examples and tries to create a conjunction of elementary Gaussian rules based on their attribute value distribution. We also describe an alternate idea where we form an AdaBoost ensemble with the CN2SD rule-building algorithm. We test both methods with cross validation and compare them to existing approaches. While the AdaBoost ensemble only improves the given algorithm, the RGRS results are comparable to classification models such as C4.5rules, but trail behind Random Forest and fuzzy rule classifier FURIA. ansambelsko učenje klasifikacija verjetnost gaussovska pravila ensemble learning classification probability Gaussian rules true false false Slovenski jezik Angleški jezik Diplomsko delo/naloga 2019-09-11 15:25:03 2019-09-11 15:25:05 2022-08-22 03:41:31 0000-00-00 00:00:00 2019 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 1970-01-01 23462 1538349251 Bajuk_Maj_-_Ansambli_verjetnostnih_klasifikacijskih_pravil.pdf Bajuk_Maj_-_Ansambli_verjetnostnih_klasifikacijskih_pravil.pdf 1 12A8878FFD214786AE0EA0337885562E f327ce8c3737c17d16a232f3f1f989f77e24ad4e4d36e9152157e84827dd0f28 07419f1f-a1b7-11eb-a523-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=121699 Fakulteta za računalništvo in informatiko 0 0 0