Dinamični varnostni filtri v spodbujevalnem učenju za robotske sistemeRifel, Anže (Avtor) Babič, Jan (Mentor) strojno učenjeumetna inteligencaoblikovanje nagradeopolnomočenostprediktivna informacijarobotikaspodbujevalno učenjevarnostPri spodbujevalnem učenju se agent uči iz lastnih poskusov in postopno izboljšuje svojo strategijo, torej pravilo, ki vsakemu stanju priredi dejanje. V robotiki je tako učenje drago, saj napaka lahko pomeni poškodbo robota in tveganje za okolico. Nevarnost se običajno rešuje s statičnimi pravili, na primer s pragom na kotu, ta pa ne upoštevajo dinamike fizičnih sistemov: isti kot je lahko povsem varen ali že nepopravljivo izgubljen, odvisno od smeri gibanja in preostalega nadzora. V delu preizkušamo dinamično alternativo, pri kateri agent nevarnost oceni sam, brez zunanje opredelitve prepovedanih stanj. Osrednja mera je opolnomočenost: koliko različnih prihodnjih izidov lahko agent s svojimi dejanji še doseže, zato upade, ko agent izgublja nadzor. Oceno z utežjo prištejemo k nagradi za nalogo kot pomožno nagrado, tako da se agent uči tudi ohranjati nadzor. Za primerjavo vključimo še prediktivno informacijo, ki meri, koliko prihodnosti je mogoče razbrati iz preteklosti. Mehanizem preverjamo na determinističnem obrnjenem nihalu, ki ga mora agent z omejenim navorom pripeljati v ukazano lego in jo zadržati. Z vzvratno dosegljivostjo je mogoče za vsako stanje natančno izračunati, ali je padec, torej prekoračitev mejnega kota, ki konča epizodo, še mogoče preprečiti. To služi kot referenčna resnica o tveganju, delež učnih epizod s padcem pa kot merilo varnosti učenja. Učimo tako strategije za posamezen cilj kot eno strategijo za vse cilje. Analiza približno 3.000 učnih tekov prinese tri ugotovitve. Prvič, opolnomočenost tveganje zares zaznava: stanja razvrsti po nevarnosti občutno bolje kot katerakoli od obeh spremenljivk, iz katerih je izračunana (rangovna korelacija z izračunano referenco 0,70 proti 0,33 za kotno hitrost in 0,00 za kot nihala), prediktivna informacija pa na istem preizkusu odpove. Drugič, vpliv uteži ni sorazmeren kompromis, temveč ima optimum: pri zmernih vrednostih se padci med učenjem občutno zmanjšajo ob komaj opaznem upadu uspešnosti naloge, pri pretiranih pa pomožna nagrada prevlada nad nalogo in agent cilj opusti. Tretjič, pri strategiji za posamezen cilj korist ne izvira iz vsebine signala, saj jo enako dobro dosežeta kontroli brez informacijske vsebine, konstantna in naključno premešana pomožna nagrada. Pri enotni strategiji za vse cilje pa opolnomočenost korist obdrži in padce med učenjem zniža s 43,8 na 27,7 %, obe kontroli pa sta slabši od izhodišča brez pomožne nagrade. Notranji varnostni signal je torej učinkovit le, kadar je porazdelitev obiskanih stanj dovolj široka, da signal preko nje ohrani dovoljšnjo variabilnost; sicer se izrodi v ponovni zapis že opazovanih podatkov.A. Rifel20262026-10-13 21:30:11Magistrsko delo/naloga189723sl