Globoko spodbujevalno učenje robotske manipulacije z objektiTežak, Domen (Avtor) Podobnik, Janez (Mentor) Mihelj, Matjaž (Komentor) globoko spodbujevalno učenjesimulacija MuJoCoalgoritem učenja TQCpomnilnik HERrobot Franka Emika PandaV tem magistrskem delu je predstavljena izdelava programskega ogrodja za učenje robotskih strategij z uporabo globokega spodbujevalnega učenja. Na področju robotike je danes avtonomnost robotov v večini primerov omejena s klasičnimi metodami vodenja, želja pa je, da bi se roboti približali učinkovitosti in prilagodljivosti ljudi v kompleksnih in dinamičnih okoljih. To je privedlo do novega področja raziskav, kjer se je spodbujevalno učenje izkazalo kot obetaven pristop. Najprej smo raziskali možnosti uporabe spodbujevalnega učenja na področju manipulacije objektov brez prijemanja, bolj natančno s potiskanjem. V drugem delu pa smo nadgradili naše programsko ogrodje s simulacijskim okoljem za učenje robotskih strategij z globokim spodbujevalnim učenjem na modelu robota Franka Emika Panda, z namenom prenosa naučenih strategij na pravega robota. Prvi sklop te naloge je zajemal pregled in izbiro ustreznih odprtokodnih orodji za implementacijo algoritmov globokega spodbujevalnega učenja. Izbrali smo repozitorij implementiranih algoritmov globokega spodbujevalnega učenja Stable-Baselines3 (SB3), programske knjižnice za izdelavo fizikalne simulacije PyBox2D in MuJoCo in programski vmesnik Gymnasium, za povezavo vseh izbranih orodij. Sledila je izdelava fizikalnih simulacijskih okolij v izbranih programskih knjižnicah in nato učenje nalog potiskanja v simulaciji preko globokega spodbujevalnega učenja. Na koncu prvega dela smo naučene modele prenesli na pravega robota ter testirali delovanje celotnega sistema. V drugem sklopu pa smo naredili simulacijsko okolje z visoko kakovostnim modelom robota Franka Emika Panda. V tem simulacijskem okolju smo nato, z uporabo globokega spodbujevalnega učenja, robota naučili nalogo pobiranja objekta s hkratnim izogibanjem oviri. Prav tako smo implementirali hitrostno vodenje robota v notranjih koordinatah. Naučen model smo nato prenesli iz simulacije na pravega robota in preizkusili delovanje na realnem sistemu. Na koncu so predstavljeni rezultati primerjave izbranih algoritmov globokega spodbujevalnega učenja DQN (angl. Deep Q Network) in TQC (angl. Truncated Quantile Critics), primerjave fizikalnih simulacijskih okolij PyBox2D in MuJoCo, uspešnosti naučenih modelov za naloge potiskanja, v simulaciji in na pravem robotu ter rezultati naloge pobiranja objekta z modelom našega robota. V diskusiji komentiramo dobljene rezultate in opozorimo na težave, ki so se pojavile med delom ter predlagamo možne rešitve in smeri za nadaljnjo delo.20242024-04-30 08:15:00Magistrsko delo/naloga156033sl