Globoko spodbujevalno učenje robotskih strategijUDIR, ANA (Avtor) Mihelj, Matjaž (Mentor) Podobnik, Janez (Komentor) spodbujevalno učenjenagradavrednost Qnevronska mrežarobotMagistrska naloga obsega izdelavo pripomočka za razlago in učenje spodbujevalnega učenja, ki se ga bo v prihodnosti uporabljalo na Fakulteti za elektrotehniko, Univerze v Ljubljani. Spodbujevalno učenje je podpodročje umetne inteligence, ki je v zadnjih letih vse bolj popularno na številnih področjih med drugim tudi na področju robotike. Zato smo se odločili, da bi prihodnje generacije študentov robotike seznanili z osnovnimi pojmi, pristopi in algoritmi, ter jim na primerih pokazali splošnost uporabe spodbujevalnega učenja. Prvi del magistrske naloge je namenjen razlagi teorije spodbujevalnega učenja. Predstavljeni so pojmi kot so; agent, strategija, akcija, okolje, nagrada in stanje. Nato sledi opis metod spodbujevalnega učenja na osnovi strategije, vrednosti ter metode akter-kritik. Bralca seznanimo z osnovnimi algoritmi spodbujevalnega učenja in njihovim delovanjem. Drugi del magistrske naloge predstavlja praktični oziroma simulacijski del. Izbrali smo si nekaj najbolj reprezentativnih algoritmov spodbujevalnega učenja (SARSA, učenje Q) ter jih implementirali na klasičnih problemih spodbujevalnega učenja. Prikazali smo uspešnost delovanja posameznih algoritmov in jih medsebojno primerjali. Spoznali smo, da enostavnejši algoritmi postanejo z naraščajočo težavnostjo problemov neustrezni. Zato smo za reševanje uporabili naprednejše, že obstoječe algoritme knjižnice Stable Baselines3. S primerjavo rezultatov na istih primerih smo demonstrirali različnost delovanja algoritmov. Najobsežnejši del magistrske naloge je predstavljala implementacija spodbujevalnega učenja za robotske aplikacije. Na podlagi modelov izdelanih v simulacijskem okolju smo robotskega manipulatorja Franka Emika Panda uspešno naučili različnih nalog. Začeli smo z enostavno nalogo premika v tarčo. Po uspešni izvedbi smo sistem nadgradili tako, da je robot igral simuliran namizni hokej proti nasprotniku. Zadnja aplikacija je bila strel na gol oziroma potiskanje naključno postavljenega objekta v tarčo. Izdelali smo poučen in široko uporaben študijski pripomoček za demonstracijo delovanja različnih algoritmov spodbujevalnega učenja v simulacijskem okolju. Poleg tega smo pokazali uspešnost implementacije algoritmov spodbujevalnega učenja za resnične robotske aplikacije. Možnost uporabe modela, naučenega v simulacijskem okolju za aplikacije na robotskih manipulatorjih, predstavlja neomejene možnosti za nadaljnji razvoj.20222022-09-09 11:20:00Magistrsko delo/naloga140003sl