20.500.12556/RUL-176682 Design and Implementation of a Decision Making AI based System for a Raspberry Pi Vehicle Demonstrator Zasnova in implementacija odločitvenega sistema na osnovi umetne inteligence za demonstratorsko vozilo na platformi Raspberry Pi Autonomous driving increasingly depends on artificial intelligence, where perception, reliability assessment, and decision making must operate safely under limited computational resources. Convolutional neural networks (CNNs) achieve high accuracy in lane detection and steering prediction, but their deployment on embedded platforms is hindered by processing limits and the lack of mechanisms for evaluating output trustworthiness. In this master’s thesis, I address these shortcomings by developing a decision making system for a Raspberry Pi based vehicle demonstrator. The main challenge is how can trust aware decision making be implemented on an embedded autonomous vehicle platform using convolutional neural networks and sensor fusion to improve the reliability of autonomous driving behaviors. The work presents an architecture that combines two perception pipelines (LaneNet/Pilot- Net and SegNet/PilotNet), a set of computationally efficient trust indicators and a rule based policy layer for safe control. The trust indicators capture geometric quality, temporal stability and scene conditions, serving either as inputs to a voting model that selects the more reliable steering command or as triggers for the policy mechanisms. Experiments on recorded datasets and real time runs show that the voting model generally chooses the safer prediction, achieving smoother steering and preventing unsafe behavior. The results confirm that combining trust indicators and policy constraints enables reliable autonomous driving on embedded hardware. Napredek tehnologije pri avtonomni vožnji je čedalje bolj odvisen od umetne inteligence. Medtem ko konvolucionalne nevronske mreže (CNN) zagotavljajo visoko natančnost zaznavanja voznih pasov in avtonomno krmiljenje, je njihova uporaba na vgrajenih sistemih pogosto otežena zaradi omejitev strojne opreme in pomanjkanja zanesljivosti. Potrebno je zgraditi sistem, ki deluje znotrej omejitev procesne moči hkrati pa delovati v realnem času in zagotavljati zanesljivost in varnost. Ena glavnih pomankljivosti CNN je pomankljivost ocenjevanja njihovih izhodov, kar vodi do pretirane samozavesti in potencialno tudi do nevarnih predvidevanj. V magistrskem delu rešujem te pomankljivosti z razvojem sistema odločanja za demonstratorsko vozilo na osnovi Raspberry Pi. Glavni izziv je kako vgraditi zanesljivost v sistem odločanja, ki temelji na CNN in kako to uporabiti za varnejše avtonomno krmiljenje. V delu predstavim arhitekturo, ki zajema dva modela za zaznavanje voznih pasov in krmiljenje, izračun zanesljivostnih indikatorjev, model glasovanja za izbiro najbolj zanesljivega izhoda in omejitve teh model za zagotavljanje varnosti. Metodologija temelji na modularni sistemski arhitekturi, zgrajeni na platformi RaspiCar. Sistem uporablja dve ločeni zaznavni verigi za neodvisno napovedovanje stopnje krmiljenja. Prva združuje LaneNet in PilotNet, druga pa povezuje SegNet in PilotNet. Ti modeli so izbrani zaradi visoke učinkovitosti pri segmentaciji voznega pasu in določanju stopnje krmiljenja. Izvajajo se zaporedno na pospeševalniku Coral Edge TPU, kar omogoča hitrejše sklepanje. Takšen dvoverižni pristop zagotavlja robustnost, saj sistem pridobi dve različni predikciji o ustreznem krmilnem dejanju za vsak zajeti okvir kamere. Za izbiro med tema napovedma sem razvil nabor indikatorjev zaupanja. Ti indikatorji so zasnovani tako, da ocenijo kakovost in zanesljivost vhodnih podatkov in izhodov sistema. Indikatorje zaupanja delim na tri skupine, prva so geometrijski indikatorji, ki analizirajo izhod segmentacijskih modelov (LaneNet in SegNet). Vključujejo pokritost slikovnih pik voznega pasu, število zaznanih segmentov voznega pasu, konsistentnost širine voznega pasu in ravnovesje med levo in desno stranjo zaznanih pasov. Naslednja skupina indikatorjev so časovni kazalniki, ki analizirajo skladnost izhodov skozi čas. Ključna indikatorja sta stabilnost krmiljenja in časovno prekrivanje mask. Zadnja skupina indikatorjev so pa kazalniki kakovosti slike, ti ocenjujejo kakovost vhodnega posnetka kamere. Imam indikatorje za svetlost slike, ostrino, šum in uravnoteženost osvetlitve, s temi lahko sistem prepozna, če bosta segmentacijska modela dobila kvalitetno sliko in ob slabem zaupanju tudi prevzame kontrolo. Z evaluacijo indikatorjev zaupanja je bil izbran končni nabor najboljših. Ti so bili združeni v dve sestavljeni oceni za vsako zaznavno verigo: oceno geometrijske stabilnosti in oceno časovne stabilnosti. Te indikatorji zaupanja so uporabljeni kot vhod za glasovalni model, ki izbira med predikcijami krmiljenja Lanenet/Pilotnet in Segnet/Pilotnet. Model je zasnovan kot večslojni perceptron, ki prejme šest indikatorjev zaupanja in izpiše odločitev. Model je bil naučen in validiran na naboru podatkov, zbranem z ročnim upravljanjem demonstratorskega vozila po različnih progah. Za dodatno varnost in omejitvijo svobode umetne inteligence sem dodal pravila, ki prevzamejo nadzor nad vozilom. Pravila temeljijo na indikatorjih zaupanja, kjer ob nizki vrednosti zaupanja v oba modela ali pa ob nizki vrednosti zaupanja v kvaliteto posnete slike aktivira izklop v sili, katerega je potrebno ročno deaktivirati. Dodal sem tudi pravilo, ki popravi krmiljenje glede na zaznano središče vozišča, če opazi, da se mu preveč odaljuje. Celoten sistem je bil ovrednoten na naboru posnetih podatkov ter s poskusi na demonstratorskem vozilu Raspicar. Vrednotenje je pokazalo, da glasovalni model večinoma uspešno izbere zanesljivejšo napoved krmiljenja, kar vodi do bolj gladkega in stabilnega vodenja v primerjavi z uporabo ene same zaznavne verige. Poleg tega so se varnostni mehanizmi na osnovi politik izkazali za pravilne pri prepoznavanju situacij z nizko stopnjo zaupanja, pri čemer so aktivirali zasilne postopke in preprečili nevarna dejanja. V analizi je sistem dosegel delovanje v realnem času na Raspberry Pi (18 FPS; povprečno 55,3 ms/okvir). Največji delež zakasnitve se zgodi na Coral Edge TPU, sledijo izračuni indikatorjev zaupanja, medtem ko glasovalni model in politike prispevajo zanemarljiv delež. Z oracle pristopom je bilo ugotovljeno, da glasovalni model v 72,8% primerov izbere enak model kot idealni odločevalec, pri uvedbi tolerance majhnih razlik se ujemanje poveča na 81,7%. Aktivacije varnostnih politik so bile zmerne in skladne s zmanjšanjem kakovosti, kar potrjuje, da sistem samopreizkuša zanesljivost in pravočasno omeji delovanje. computer vision lane detection voting model trust indicators embedded AI računalniški vid umetna inteligenca zaznavanje voznega pasu glasovalni model indikatorji zaupanja vgradni sistem true false false Angleški jezik Slovenski jezik Magistrsko delo/naloga 2025-12-09 08:25:11 2025-12-09 08:25:26 2026-01-16 14:22:18 0000-00-00 00:00:00 2025 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 63226 265046531 Starcic_Bor_-_Zasnova_in_implementacija_odlocitvenega_sistema_na_osnovi_umetne_inteligence_za_de.pdf Starcic_Bor_-_Zasnova_in_implementacija_odlocitvenega_sistema_na_osnovi_umetne_inteligence_za_de.pdf 1 F79717299C72482965AB7855269CD7B2 f3595931d29458803537eb3ba094294691b6f82ebdcfb36b27880f0434b30a28 d5481220-d4cf-11f0-9328-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=223178 Fakulteta za elektrotehniko 0 0 0