Učenje robotskih manipulacijskih nalog s spodbujevalnim učenjem in vedenjskim posnemanjem

KRANJEC, JAN (avtor), Podobnik, Janez (mentor), Deniša, Miha (komentor)

Avtonomija v robotski kirurgiji predstavlja področje, na katerem se raziskave vse bolj usmerjajo v avtomatizacijo posameznih manipulacijskih nalog. Pomemben vidik tega področja je razvoj metod, s katerimi se lahko robotski sistemi naučijo izvajanja brez programiranja posameznih gibov. Med pomembnejšimi pristopi sta spodbujevalno učenje in vedenjsko posnemanje. Pri spodbujevalnem učenju se strategija nauči izvajanja naloge na podlagi interakcije z okoljem in povratne informacije v obliki nagrade, medtem ko se pri vedenjskem posnemanju strategija uči na podlagi demonstracij. V magistrskem delu je obravnavano učenje robotskih manipulacijskih nalog v simulacijskem okolju ter prenos naučenih strategij na fizični robotski sistem. V simulacijskem okolju NVIDIA Isaac Sim in programskem ogrodju Isaac Lab je bilo razvito simulacijsko okolje z robotskim sistemom, ki je opremljen z dvema robotskima rokama in kirurškima orodjema. Osrednja naloga je bila pobiranje kirurške igle, pri kateri mora robotska roka iz različnih začetnih položajev pravilno prijeti iglo in jo dvigniti v določen položaj. Poleg tega je bila obravnavana tudi zahtevnejša naloga predaje igle med robotskima rokama. Za učenje naloge pobiranja igle s spodbujevalnim učenjem je bil uporabljen algoritem \textit{Proximal Policy Optimization}. Naučena strategija je v simulacijskem okolju uspešno izvedla 7 od 10 poskusov oziroma dosegla 70 % uspešnost. Po prenosu na fizični robotski sistem MOPS je bila uspešna v 4 od 10 poskusov, kar predstavlja 40 % uspešnost. Z vedenjskim posnemanjem je bila za nalogo pobiranja igle pri najboljši preizkušeni kombinaciji učnih podatkov dosežena 50 % uspešnost, pri nalogi predaje igle pa prav tako 50 % uspešnost. Pri vedenjskem posnemanju je bil poleg uspešnosti analiziran tudi vpliv števila demonstracij in števila vzorcev v posamezni demonstraciji. Pri nalogi pobiranja igle je bila najvišja uspešnost dosežena pri 50 demonstracijah in 300 vzorcih na demonstracijo, pri nalogi predaje igle pa pri 50 demonstracijah in 300 vzorcih na demonstracijo. V obravnavanem območju je bila tako pri obeh nalogah najvišja izmerjena uspešnost 50 %. Rezultati kažejo, da izbira količine učnih podatkov vpliva na uspešnost naučenih strategij. Magistrsko delo tako obravnava celoten postopek od vzpostavitve simulacijskega okolja in zbiranja demonstracij s teleoperacijo do učenja robotskih strategij ter njihovega eksperimentalnega vrednotenja v simulacijskem in fizičnem okolju. Ugotovitve predstavljajo osnovo za nadaljnje raziskave uporabe spodbujevalnega učenja in vedenjskega posnemanja pri učenju kompleksnejših robotskih manipulacijskih nalog ter za izboljšanje zanesljivosti prenosa naučenih strategij iz simulacijskega v fizično okolje.

• Jezik: Slovenski jezik
• Ključne besede: spodbujevalno učenje, vedenjsko posnemanje, PPO, BC, MOPS, Isaac Sim, Isaac Lab
• Vrsta gradiva: Magistrsko delo/naloga
• Organizacija: FE - Fakulteta za elektrotehniko
• Leto izida: 2026
• PID: 20.500.12556/RUL-188851
• Datum objave v RUL: 29.09.2026

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Learning Robotic Manipulation Tasks Using Reinforcement Learning and Behavior Cloning

Izvleček

Autonomy in robotic surgery is an increasingly active research area, with growing focus on the automation of individual manipulation tasks. An important aspect of this field is the development of methods that enable robotic systems to learn task execution without explicitly programming individual motions. Two important approaches are reinforcement learning and behavior cloning. In reinforcement learning, a policy learns to perform a task through interaction with the environment and feedback in the form of a reward, whereas in behavior cloning, a policy is learned from demonstrations. This master's thesis investigates the learning of robotic manipulation tasks in a simulation environment and the transfer of learned policies to a physical robotic system. A simulation environment with a model of the robotic system, equipped with two robotic arms and surgical instruments, was developed using Isaac Sim simulator and the Isaac Lab framework. The primary task was needle picking, in which a robotic arm must correctly grasp a surgical needle from different initial positions and lift it to a specified position. In addition, a more challenging needle handover task between the two robotic arms was considered. For learning the needle-pickup task using reinforcement learning, the \textit{Proximal Policy Optimization} algorithm was used. The learned policy successfully completed 7 out of 10 trials in the simulation environment, achieving a success rate of 70 %. After transfer to the physical MOPS robotic system, it successfully completed 4 out of 10 trials, corresponding to a success rate of 40 %. Using behavior cloning, a success rate of 50 % was achieved for the needle-pickup task with the best-performing combination of training data, while the same success rate of 50 % was achieved for the needle-handover task. The influence of the number of demonstrations and the number of samples per demonstration on the performance of the learned policies was analysed. For both the needle-pickup and needle-handover tasks, the highest success rate was achieved using 50 demonstrations with 300 samples per demonstration. Within the evaluated range of training data, the highest measured success rate for both tasks was therefore 50 %. The results show that the amount of training data affects the performance of the learned policies. The thesis therefore addresses the complete process, from establishing the simulation environment and collecting demonstrations through teleoperation to learning robotic policies and experimentally evaluating them in both simulated and physical environments. The findings provide a basis for further research into the use of reinforcement learning and behavior cloning for learning more complex robotic manipulation tasks and for improving the reliability of transferring learned policies from simulation to the real environment.

• Ključne besede: reinforcement learning, behavior cloning, PPO, BC, MOPS, Isaac Sim, Isaac Lab