20.500.12556/RUL-84438 Ocenjevanje zanesljivosti regresijskih napovedi na podatkovnih tokovih Reliability estimation of regressional predictions on data streams Z današnjo tehnologijo je mogoče preprosto neprekinjeno zbiranje podatkov. Kljub temu predstavlja pridobivanje znanja iz potencialno neskončnih podatkovnih tokov odprt problem. Zaradi določenih omejitev morajo biti metode za procesiranje podatkov dobro zasnovane, prostorsko učinkovite, računsko enostavne in hitre. Pogosto se analiza opravi na fiksni zgodovini podatkovnega toka, ki je določena z drsečim oknom. Kvaliteto napovedi algoritmov običajno ocenimo glede na njihovo povprečno točnost. Vendar, ko imamo opravka s podatki v realnem času, je lahko prav tako pomembna zanesljivost izhodnih vrednosti. V diplomskem delu obravnavamo ocenjevanje zanesljivosti posameznih napovedi pri učenju na podatkovnih tokovih. Raziskali smo različne metode, ki tvorijo intervalne ocene zanesljivosti s pristopom maksimalnega verjetja, stremljenja in lokalnih okolic, za delo na neprekinjenih dinamičnih podatkih. Metode smo implementirali z različnimi algoritmi strojnega učenja in jih preizkusili na več realnih in umetnih regresijskih problemih pri različnih velikostih drsečega okna. Uspešnost intervalnih cenilk smo ovrednotili z ocenami pokrivna verjetnost, relativni povprečni napovedni interval in kombinirana statistika. Primerjali smo izvajalne čase učnih algoritmov z in brez ocen zanesljivosti ter dosežene točnosti napovedi pri enakih časovnih omejitvah. Rezultate analiziramo tudi vizualno. With today's technology it is easy to collect data continuously. Still, how to extract knowledge from potentially infinite data streams remains an open problem. Because of specific constraints, stream processing methods have to be well designed, space-efficient, computationally simple and fast. Typically, data analysis is done on a fixed history of the data stream defined by a sliding window. We usually define the quality of predictions by their average accuracy. However, when dealing with real-time data it can be also important to know the reliability of the models’ output values. In this thesis we deal with online reliability estimation of individual predictions on data streams. We consider different interval reliability estimators based on maximum likelihood, bootstrap and local neighborhood approach for working on continuous dynamic data. We implement these methods on different regression models and test them on several real and artificial regression problems with various sizes of the sliding window. Performance of the interval estimates are evaluated using the estimates of prediction interval coverage probability, the relative mean prediction interval and the combined statistic. We compare the execution times of learning algorithms with and without the reliability estimates as well as their prediction accuracy when given the same time constraint. We also analyze results visually. strojno učenje ocenjevanje zanesljivosti napovedni intervali podatkovni tokovi regresija napovedovanje machine learning reliability estimation prediction intervals data stream regression predicting true false false Slovenski jezik Angleški jezik Diplomsko delo 2016-08-23 12:40:12 2016-08-23 12:40:14 2022-08-02 01:12:49 0000-00-00 00:00:00 2016 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 1970-01-01 17745 Hren_Bostjan_-_Ocenjevanje_zanesljivosti_regresijskih_napovedi_na_podatkovnih_tokovih.pdf Hren_Bostjan_-_Ocenjevanje_zanesljivosti_regresijskih_napovedi_na_podatkovnih_tokovih.pdf 1 9EFDB5D57855A29FD1F7AB83A6E61457 42a25cdf8fc5e34c0f38c9f97f147d85da985f2ef697c6156245abaa9d3c7038 e6d1729f-a1b0-11eb-a523-00155dcfd717 20.500.12556/rul/40de20a4-22b0-4d9d-956d-4bdd0d39ace8 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=87542 Fakulteta za računalništvo in informatiko 0 0 0