VODENJE AVTONOMNEGA MOBILNEGA SISTEMA Z ROBOTSKO ROKO NA OSNOVI DIGITALNE SLIKE

Zdešar, Andrej (author), Škrjanc, Igor (mentor), Klančar, Gregor (comentor)

Delo obravnava načrtovanje in izvedbo vodenja mobilnega sistema s pristopom vodenja na osnovi slike (VOS). V ospredju obravnave je izdelava mobilnega sistema, ki lahko avtonomno opravi podano nalogo, pri čemer uporablja kamero kot osnovni senzor za zaznavanje okolja. V ta namen je bilo razvitih več podpornih sistemov — le-ti so predmet obravnave v doktorski disertaciji —, kot so: sistem za vodenje po trajektoriji na osnovi slike, sistem za načrtovanje poti na sliki in sistem za ocenjevanje stanj oz. lokalizacijo. Sistemi so bili izdelani predvsem za vodenje kolesnih mobilnih sistemov po trajektoriji, ki je eden izmed temeljnih problemov pri vodenju mobilnih sistemov. Določene uspešne izvedbe sistemov iz vodenja kolesnih mobilnih sistemov smo zasnovali tudi za vodenje robotske roke na osnovi slike. Pri izvedbi algoritmov vodenja smo se omejili na uporabo le ene kamere, pri čemer so bile naš predmet zanimanja predvsem nekanonične postavitve kamere v okolju. Sistem vodenja smo zasnovali tako, da lahko nalogo podamo neposredno na sliki. Zato smo regulirni zakon želeli izvesti po metodi direktnega vodenja na osnovi slike, kar pomeni, da je pogrešek v regulator definiran neposredno na sliki. Za problem sledenja trajektoriji smo predstavili izvedbo dvoprostostnega regulatorja s prediktivno regulacijo na osnovi modela sistema v povratni zanki. Prikazali smo postopek načrtovanja in možnosti optimizacije referenčne trajektorije z zlepki Bernstein-Bézierjevih parametričnih krivulj. Pri načrtovanju poti smo posebej obravnavali določene posebne primere, ko mobilni sistem doseže ničelno tangenčialno hitrost. Ker v takšnih primerih model sistema za izvedbo regulatorja postane nevodljiv, smo vpeljali model pomožnega pogreška, ki omogoča stabilno rešitev problema, čeprav smo pri tem morali sprejeti določene kompromise. Pri načrtovanju regulatorja za vodenje po trajektoriji se pojavi problem določevanja lege mobilnega sistema v okolju, zato smo se posvetiti tudi problemu izvedbe lokalizacije z uporabo slikovne informacije. Za potrebe izračuna Delo obravnava načrtovanje in izvedbo vodenja mobilnega sistema s pristopom vodenja na osnovi slike (VOS). V ospredju obravnave je izdelava mobilnega sistema, ki lahko avtonomno opravi podano nalogo, pri čemer uporablja kamero kot osnovni senzor za zaznavanje okolja. V ta namen je bilo razvitih več podpornih sistemov — le-ti so predmet obravnave v doktorski disertaciji —, kot so: sistem za vodenje po trajektoriji na osnovi slike, sistem za načrtovanje poti na sliki in sistem za ocenjevanje stanj oz. lokalizacijo. Sistemi so bili izdelani predvsem za vodenje kolesnih mobilnih sistemov po trajektoriji, ki je eden izmed temeljnih problemov pri vodenju mobilnih sistemov. Določene uspešne izvedbe sistemov iz vodenja kolesnih mobilnih sistemov smo zasnovali tudi za vodenje robotske roke na osnovi slike. Pri izvedbi algoritmov vodenja smo se omejili na uporabo le ene kamere, pri čemer so bile naš predmet zanimanja predvsem nekanonične postavitve kamere v okolju. Sistem vodenja smo zasnovali tako, da lahko nalogo podamo neposredno na sliki. Zato smo regulirni zakon želeli izvesti po metodi direktnega vodenja na osnovi slike, kar pomeni, da je pogrešek v regulator definiran neposredno na sliki. Za problem sledenja trajektoriji smo predstavili izvedbo dvoprostostnega regulatorja s prediktivno regulacijo na osnovi modela sistema v povratni zanki. Prikazali smo postopek načrtovanja in možnosti optimizacije referenčne trajektorije z zlepki Bernstein-Bézierjevih parametričnih krivulj. Pri načrtovanju poti smo posebej obravnavali določene posebne primere, ko mobilni sistem doseže ničelno tangenčialno hitrost. Ker v takšnih primerih model sistema za izvedbo regulatorja postane nevodljiv, smo vpeljali model pomožnega pogreška, ki omogoča stabilno rešitev problema, čeprav smo pri tem morali sprejeti določene kompromise. Pri načrtovanju regulatorja za vodenje po trajektoriji se pojavi problem določevanja lege mobilnega sistema v okolju, zato smo se posvetiti tudi problemu izvedbe lokalizacije z uporabo slikovne informacije. Za potrebe izračuna pogreška in ocenjevanja lege smo uporabili opis slik z redkimi lokalnimi značilkami, ki omogočajo strnjen in učinkovit zapis slikovne vsebine. V delu je prikazana tudi možnost izvedbe kalibracije sistema VOS s kamero na osnovi gibanja, ki ne zahteva posebnega prirejanja okolja le za namen kalibracije. Veliko predlaganih pristopov temelji na obravnavi in uporabi posebnih lastnosti perspektivicne projekcije ravnine. Predlagane rešitve smo eksperimentalno preizkusili tako v simulacijskem okolju kot tudi na realnih sistemih.

• Language: Slovenian
• Keywords: vodenje na osnovi slike, dvoprostostno vodenje, prediktivno vodenje na osnovi modela pogreška, vodenje po trajektoriji, načrtovanje poti, strojni vid, sledenje značilk na sliki, vizualna odometrija, kalibracija kamere, homografija
• Work type: Doctoral dissertation
• Organization: FE - Faculty of Electrical Engineering
• Year: 2015
• PID: 20.500.12556/RUL-30734
• COBISS.SI-ID: 10999124
• Publication date in RUL: 24.04.2015

Secondary language

• Language: English
• Title: VISUAL CONTROL OF AN AUTONOMUS MOBILE SYSTEM WITH A ROBOTIC ARM

Abstract

This work presents the use of visual servoing approaches for solving the control problems in mobile robotics. The main emphasis is on development of a mobile robotic system that is able to autonomously complete the desired task based only on visual information provided by camera mounted on the mobile system. In order to achieve this goal, several support systems were developed — these systems are presented in this work —, like systems for: image-based trajectory tracking, reference trajectory generation, mobile robot localization. One of the main focus of the work is on development of trajectory tracking control of wheeled mobile robots. The presented control approach was also used in development of trajectory tracking control of robotic arm. The setup consists of a single camera that is mounted on a mobile system in some arbitrary non-canonical way. The presented control design enables in-image definition of the task. An image-based visual servoing approach is used to solve the control problem. A 2 DOF internal-model control approach with a predictive control algorithm in the feedback loop is used to solve the trajectory tracking problem. Bernstein-Bézier parametric splines are used for trajectory generation. The properties of Bernstein-Bézier curves at boundary points were studied for the special case when tangential velocity reaches zero. Since the model of a system at zero tangential velocity becomes uncontrollable, a special model of the error is introduced that enables for stable control solution. The control error is obtained using local image features and methods from optimal state estimation. An approach for camera calibration is presented that does not require special preparation of the environment for the purpose of calibration and it is based on rotating object motion. Many of the presented approaches were designed based on some special properties of perspective transformation of a plane. The presented methods were experimentally evaluated in simulation environment and on real systems.

• Keywords: visual servoing, 2 DOF control, error-model predictive control, trajectory tracking, path planning, machine vision, image-based feature tracking, visual odometry, camera calibration, homography