Učenje robotskih manipulacijskih nalog s spodbujevalnim učenjem in vedenjskim posnemanjemKRANJEC, JAN (Avtor) Podobnik, Janez (Mentor) Deniša, Miha (Komentor) spodbujevalno učenjevedenjsko posnemanjePPOBCMOPSIsaac SimIsaac LabAvtonomija v robotski kirurgiji predstavlja področje, na katerem se raziskave vse bolj usmerjajo v avtomatizacijo posameznih manipulacijskih nalog. Pomemben vidik tega področja je razvoj metod, s katerimi se lahko robotski sistemi naučijo izvajanja brez programiranja posameznih gibov. Med pomembnejšimi pristopi sta spodbujevalno učenje in vedenjsko posnemanje. Pri spodbujevalnem učenju se strategija nauči izvajanja naloge na podlagi interakcije z okoljem in povratne informacije v obliki nagrade, medtem ko se pri vedenjskem posnemanju strategija uči na podlagi demonstracij. V magistrskem delu je obravnavano učenje robotskih manipulacijskih nalog v simulacijskem okolju ter prenos naučenih strategij na fizični robotski sistem. V simulacijskem okolju NVIDIA Isaac Sim in programskem ogrodju Isaac Lab je bilo razvito simulacijsko okolje z robotskim sistemom, ki je opremljen z dvema robotskima rokama in kirurškima orodjema. Osrednja naloga je bila pobiranje kirurške igle, pri kateri mora robotska roka iz različnih začetnih položajev pravilno prijeti iglo in jo dvigniti v določen položaj. Poleg tega je bila obravnavana tudi zahtevnejša naloga predaje igle med robotskima rokama. Za učenje naloge pobiranja igle s spodbujevalnim učenjem je bil uporabljen algoritem \textit{Proximal Policy Optimization}. Naučena strategija je v simulacijskem okolju uspešno izvedla 7 od 10 poskusov oziroma dosegla 70 % uspešnost. Po prenosu na fizični robotski sistem MOPS je bila uspešna v 4 od 10 poskusov, kar predstavlja 40 % uspešnost. Z vedenjskim posnemanjem je bila za nalogo pobiranja igle pri najboljši preizkušeni kombinaciji učnih podatkov dosežena 50 % uspešnost, pri nalogi predaje igle pa prav tako 50 % uspešnost. Pri vedenjskem posnemanju je bil poleg uspešnosti analiziran tudi vpliv števila demonstracij in števila vzorcev v posamezni demonstraciji. Pri nalogi pobiranja igle je bila najvišja uspešnost dosežena pri 50 demonstracijah in 300 vzorcih na demonstracijo, pri nalogi predaje igle pa pri 50 demonstracijah in 300 vzorcih na demonstracijo. V obravnavanem območju je bila tako pri obeh nalogah najvišja izmerjena uspešnost 50 %. Rezultati kažejo, da izbira količine učnih podatkov vpliva na uspešnost naučenih strategij. Magistrsko delo tako obravnava celoten postopek od vzpostavitve simulacijskega okolja in zbiranja demonstracij s teleoperacijo do učenja robotskih strategij ter njihovega eksperimentalnega vrednotenja v simulacijskem in fizičnem okolju. Ugotovitve predstavljajo osnovo za nadaljnje raziskave uporabe spodbujevalnega učenja in vedenjskega posnemanja pri učenju kompleksnejših robotskih manipulacijskih nalog ter za izboljšanje zanesljivosti prenosa naučenih strategij iz simulacijskega v fizično okolje.20262026-09-29 12:20:20Magistrsko delo/naloga188851sl