20.500.12556/RUL-186726 Progresivno spodbujevalno učenje za celotelesno humanoidno manipulacijo Progressive Reinforcement Learning for Whole-Body Humanoid Manipulation Humanoidni roboti so zasnovani za delo v okoljih, prilagojenih ljudem, zato je manipulacija z usklajenim gibanjem celotnega telesa, hkratno upravljanje rok in nog za doseganje, prijemanje in manipulacijo predmetov, ena izmed ključnih nalog sodobne robotike. Učenje takšnih nalog z metodami spodbujevalnega učenja je zahtevno zaradi kompleksnosti visokodimenzionalnega prostora akcij in kompleksnih nagrad, še posebej kadar so vse nagrade vključene hkrati, saj agent namesto postopnega osvajanja posameznih veščin sklepa kompromise med nasprotujočimi si cilji in konvergira k slabemu lokalnemu minimumu. Glavni cilj tega dela je učenje strategije za stabilno manipulacijo predmeta s humanoidnim robotom, ki temelji na usklajenem gibanju celotnega telesa, pri čemer se mora robot naučiti učinkovitega izvajanja naloge ob hkratnem zagotavljanju stabilnosti in ravnotežja. Za reševanje tega problema je uporabljen progresivni pristop: naloga je razdeljena na tri zaporedne faze učenja, pri čemer vsaka faza nadgradi naučeno vedenje iz prejšnje faze z novimi funkcijami nagrade. Robot Talos je bil najprej naučen vzdrževati ravnotežje ob zunanjih motnjah, nato segati po predmetu na mizi in nazadnje predmet stisniti ter dvigniti. Učenje poteka v simulacijskem okolju IsaacLab z uporabo metode spodbujevalnega učenja, pri čemer je za optimizacijo strategije uporabljen algoritem PPO (Proximal Policy Optimization). Rezultati potrjujejo učinkovitost progresivnega pristopa, saj je robot uspešno usvojil zaporedne faze učenja, od vzdrževanja ravnotežja do izvajanja manipulacijske naloge. V končni fazi je robot uspešno izvedel prijem in dvig predmeta, pri čemer pristop kaže potencial za učenje kompleksnega vedenja z usklajenim gibanjem celotnega telesa pri humanoidnih robotih. Humanoid robots are designed to operate in environments built for humans, making whole-body manipulation, the simultaneous use of arms and legs to reach, grasp, and move objects, one of the key challenges in modern robotics. Learning such tasks with reinforcement learning is challenging due to the high-dimensional action space and complex rewards, especially when all reward components are introduced simultaneously, as the agent tends to make compromises between conflicting objectives and converge to a poor local minimum rather than progressively acquiring individual skills. The main goal of this work is to learn a policy for stable whole-body manipulation of an object with a humanoid robot, where the robot must learn to perform the task effectively while simultaneously maintaining stability and balance. To address this problem, a progressive approach is implemented, where the task is divided into three sequential learning phases, each building on the policy of the previous phase by introducing new reward functions. The Talos humanoid robot is first trained to maintain balance under external disturbances, then to reach for an object on a table, and finally to grasp and lift it. Training is performed in the IsaacLab simulation environment using reinforcement learning, with PPO (Proximal Policy Optimization) used for policy optimization. The results confirm the effectiveness of the progressive approach, as the robot successfully acquired the sequential learning phases, from maintaining balance to performing the manipulation task. In the final phase, the robot successfully grasped and lifted the object, demonstrating the potential of the proposed approach for learning complex whole-body behaviors in humanoid robots. spodbujevalno učenje humanoidna robotika progresivno učenje PPO manipulacija IsaacLab Talos reinforcement learning humanoid robotics curriculum learning PPO manipulation IsaacLab Talos true false false Slovenski jezik Angleški jezik Diplomsko delo/naloga 2026-09-04 10:10:01 2026-09-04 10:10:13 2026-09-10 12:03:59 0000-00-00 00:00:00 2026 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 62923 290656003 Kastrevc_Klemen_jakob_-_Progresivno_spodbujevalno_ucenje_za_celotelesno_humanoidno_manipulacijo.pdf Kastrevc_Klemen_jakob_-_Progresivno_spodbujevalno_ucenje_za_celotelesno_humanoidno_manipulacijo.pdf 1 C31E5FF9746C514AB2084004F7FFF241 0be0452a05792538683a076c513d7442e81f4267e3fa32bf93f3ced39300b183 0ee70433-a838-11f1-8bc5-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=246065 Fakulteta za elektrotehniko 0 0 0