20.500.12556/RUL-30809 NOSLJIVI SENZORNI SISTEM ZA MERJENJE IN OCENJEVANJE VSTAJANJA WEARABLE SENSORY SYSTEM FOR MEASUREMENT AND EVALUATION OF SIT-TO-STAND MOVEMENTS Razvoj in miniaturizacija senzornih tehnologij sta v zadnjih letih prinesla nabor novih aplikacij. Velik razmah uporabe so doživeli nosljivi senzorji, ki zaradi svoje majhne izdelave ter varčnega delovanja omogočajo spremljanje oseb v daljšem časovnem obdobju. Informacije, pridobljene z nosljivih senzorjev, so uporabne na področjih, ki se tičejo človeka samega ter njegovih navad: medicina, biomehanika, šport, sociologija, psihologija, tehnika. Med bolj uporabne nosljive senzorje spada kombinacija žiroskopa, pospeškometra ter magnetometra (t.i. inercialna merilna enota). Ker vsak senzor na merilni enoti meri svojo fizikalno veličino, z raznimi metodami senzornega združevanja iz več signalov pridobimo znanje o novi, lahko tudi neposredno nemerljivi veličini ali preprosto izboljšamo osnovno meritev senzorja. Ena izmed metod za ocenjevanja orientacije na podlagi merjenja inercialnih in magnetnih veličin je Kalmanov filter. Osnovni princip ocenjevanja orientacije med gibanjem temelji na integraciji kotne hitrosti. Ocenjena orientacija je nato v mirovanju popravljena glede na informacijo o izmerjenem gravitacijskem pospešku in magnetnem polju. V tem primeru je pospeškometer uporabljen kot inklinometer, pri čemer gravitacijska komponenta izmerjenega pospeška določa naklon, magnetometer pa je uporabljen kot kompas. Osnovni princip delovanja je problematičen v dveh primerih: i) med gibanjem, kadar pospeškometer meri vsoto dinamičnega in gravitacijskega pospeška, kar pri hitrih, dinamičnih gibih močno vpliva na napako, ter ii) v bližini feromagnetnih materialov, saj je referenčno magnetno polje Zemlje občutljivo na magnetne motnje. Za ocenjevanje orientacije posameznih segmentov telesa na podlagi inercialnih in magnetnih merjenj smo razvil metodo senzornega združevanja, ki temelji na razširjenem Kalmanovem filtru. Problem zaradi principa delovanja pospeškometra smo omilili z vpeljavo modela pospeškometra, ki vsebuje kinematične relacije med segmenti. Pri tem je izmerjen pospešek modeliran kot vsota znanega translacijskega pospeška vpetja, gravitacijskega pospeška ter pospeška zaradi kroženja. Slednji vsebuje v svojem zapisu kinematično relacijo, ki opisuje postavite merilne enote glede na točko vpetja. Podobno lahko opišemo tudi pospešek točke konca segmenta, ki obenem predstavlja tudi pospešek vpetja naslednjega segmenta. Z vpeljavo rekurzivne zasnove izračuna orientacij se problem poznavanja pospeška vpetja posameznega segmenta poenostavi na poznavanje pospeška vpetja samo prvega segmenta v kinematični verigi. Zemeljsko magnetno polje predstavlja referenčni vektor za določevanje orientacije okoli vertikalne osi. Slaba lastnost magnetnega polje je to, da je močno spremenljivo v bližini feromagnetnih materialov, kar izdatno poslabša oceno orientacije. Da bi se izognili vplivu popačenega magnetnega polja, smo predlagali metodo aktivne kompenzacije magnetnih motenj. Metoda temelji na ocenjevanju trenutne magnetne motnje na podlagi trenutnega in prejšnjega izmerjenega magnetnega polja ter spremembi orientacije med dvema zaporednima očitkoma. Izmerjeno magnetno polje je tako predstavljeno kot vsota zemeljskega magnetnega polja ter ocenjene magnetne motnje. Za spremljanje človeškega gibanja smo sestavili 7-segmentni model človeka, pri čemer je bil vsak segment opremljen s svojo inercialno merilno enoto. Na podlagi kinematične verige smo definirali rekurzivni izračun orientacij segmentov. Pri tem se za stopalo, ki je v kontaktu s tlemi, predvideva, da je prvi segment v kinematični verigi, obenem pa je njegov translacijski pospešek enak nič. Prvi segment je določen glede na obremenitve pod stopali, izmerjene z merilnimi vložki. Izmerjena interakcija pod stopali služi tudi kot vhod v rekurzivni Newton-Eulerjev izračun obremenitev v sklepih. Delovanje algoritma za ocenjevanje orientacije enega segmenta smo eksperimentalno ovrednotili. V ta namen smo uporabili enojno fizikalno nihalo, opremljeno z inercialno merilno enoto ter referenčnim merilnim sistemom. Analiza gibanja nihala je pokazala, da je srednja vrednost absolutne napake ocenjenih kotov manjša od 5◦. Vstajanje je samo po sebi kratkotrajno gibanje. V kolikor pa nas zanima gibanje, pri katerem je vstajanje samo eden izmed manevrov, je potrebno zagotoviti dolgoročno zanesljivost algoritma. Le-to smo testirali z eksperimentalno evalvacijo, ki je vključevala 15 minutno hojo na tekočem traku pri dveh različnih hitrostih hoje: 4 km/h ter 6 km/h. Slednja je predstavljala hitro, dinamično gibanje. Dodatno smo delovanje algoritma testirali še pri hoji na poligonu, ki je vključevala več vsakodnevnih manevrov: hojo po ravnih tleh, hojo po stopnicah ter obračanje. Primerjava ocenjenih ter referenčnih parametrov je pokazala, da je srednja vrednost absolutne napake okoli 5◦ ne glede na dinamiko gibanja, trajanje gibanja ali tip obravnavanega manevra. Analiza je tudi izpostavila, da napaka ocenjenih parametrov ni podvržena lezenju tekom trajanja meritev. Algoritem za kompenzacijo magnetnih motenj smo testirani na primeru enega segmenta. Meritve smo izvedli na enojnem fizikalnem nihalu, pri čemer smo za generiranje magnetnih motenj uporabili solenoidno tuljavo. Rezultati so pokazali velika odstopanja pri ocenjevanju orientacije brez vključene kompenzacije magnetnih motenj (napaka do 200◦), medtem ko je bilo delovanje algoritma z aktivno magnetno kompenzacijo ustrezno bolj natančno ne glede na jakost in smer magnetne motnje. Vstajanje je eden izmed najpogosteje izvedenih manevrov obenem pa predstavlja začetni gib večine ostalih načinov gibanja. Vzorec vstajanja zdravih oseb je simetričen med levo in desno stranjo, medtem ko je pri osebah z motnjami gibanja asimetričen. Analiza vstajanja oseb po transtibialni amputaciji je pokazala močno izraženo asimetrijo tako kinematičnih kot tudi dinamičnih parametrov. Pri vstajanju je bila zdrava stran pričakovano bolj obremenjena. Testiranje vpliva višine sedeža ter hitrosti vstajanja na asimetrijo ni pokazalo nobene statistično značilne povezave med začetnimi pogoji vstajanja in asimetrijo. Navedeno nakazuje, da na asimetrijo pri vstajanju vpliva predvsem način vstajanja, naučen po amputaciji. Nosljiv senzorni sistem smo uporabil za analizo vstajanja pacienta z diagnosticirano artrozo levega kolka s predvideno kirurško obravnavo. Pred operativnim posegom je bil vzorec vstajanja izrazito asimetričen, tako iz vidika kotov kot tudi navorov v sklepih. Oseba je z neenakomernim vzorcem vstajanja poskušala minimizirati bolečino v prizadetem sklepu. Analiza vstajanja tri mesece ter pol leta po operativnem posegu je pokazala statistično značilno zmanjšanje asimetrije med levo in desno stranjo. S tem eksperimentom smo potrdili primernost merilnega sistema za spremljanje uspešnosti operativnega posega kot tudi potek rehabilitacije. Nosljivi senzorni sistem, sestavljen iz inercialnih in magnetnih merilnih enot, merilnih vložkov ter ustreznih algoritmov senzorne integracije, predstavlja alternativno rešitev za merjenje kinematičnih in dinamičnih parametrov gibanja človeka z majhno napako (srednja vrednost napake kota < 5◦). Napaka je neodvisna od okolja merjenja, dinamike in tipa gibanja ter trajanja meritev. Z vključitvijo aktivne kompenzacije magnetnih motenj je sistem primeren za uporabo tudi v okolju z nehomogenim magnetnim poljem. V tem delu smo predstavili rešitvi dveh glavnih problemov ocenjevanja orientacije z inercialnimi in magnetnimi senzorji: i) večanje napake izhodne orientacije pri dolgotrajnih meritvah gibanja in ii) vpliv magnetnih motenj na oceno orientacije. S tem smo omogočili uporabo inercialnih in magnetnih senzorjev v vlogi natančnega merilnega inštrumenta, ki je primeren spremljanje in analizo gibanja človeka v klinični praksi, kot sistem za sprotno podajanje povratne informacije ter kot senzorni del regulacijske zanke nosljivih robotskih pripomočkov. The development of microelectromechanical system components in the last decade enabled the production of small, inexpensive, and low-power sensors. These sensors present a low-cost, wearable, and easier-to-use alternative to expensive laboratory measurement systems which can be used in many different fields such as medicine, biomechanics, sport, sociology, physiology and engineering. Typical representative of wearable sensors are inertial and magnetic measurement units (IMUs). The raw signals are processed using sensory fusion to assess the orientation of the sensor and the corresponding segment, on which the sensor is mounted. One of most popular methods of sensory fusion is the extended Kalman filter (EKF). The basic principle of Kalman filtering in orientation estimation is based on obtaining an orientation estimate by integrating angular velocity. The estimate is further fused with orientation estimated from the measured gravitational acceleration (inclination) and magnetic field (heading). Two major issues emerge by implementing this principle : i) the accelerometer on the IMU measures the resulting difference between gravitational and dynamical acceleration, and ii) the weak Earth’s magnetic field can easily become disturbed in the vicinity of ferromagnetic materials and electromagnetic devices. For estimating the orientation of individual segments of the human body based on inertial and magnetic measurements, we developed an EKF-based sensory fusion method. We implemented the model of the measured acceleration as a combination of known translational acceleration of the mounting point, gravitational acceleration, and acceleration caused by rotation. The latter includes the kinematic description of the placement of the sensors on the segment. Similarly we can define the acceleration of the end point of the segment, which is at the same time the acceleration of the mounting point of the following segment. By implementing the recursive calculation of the orientation, only the acceleration of the mounting point of the first segment in the kinematic chain must be known. The Earth’s magnetic field is used as a reference vector for angle estimation around the vertical axis. To prevent the effect of a disturbed magnetic field on the orientation estimation, we proposed active compensation of magnetic disturbances. The method is based on estimating the magnetic disturbance by considering current measured magnetic field, measured magnetic field at previous time step, and the change of orientation in current time step. The measured magnetic field can be thus modeled as a combination of the Earth’s magnetic field and the assessed magnetic disturbance. We modeled the human body with a 7 segments model. Each segment was equipped with an individual IMU. The recursive algorithm for the calculation of segment orientations was implemented based on a serial kinematic chain. The foot, which was in contact with the floor, was assumed to be the first segment of the chain with zero acceleration. Real-time determination of the initial segment was based on the reactive force data from the measurement insoles. The force assessed with the insoles was also used as an input into the recursive Newton-Euler calculation of joint torques. The performance of the algorithm for orientation estimation of single segment was experimentally evaluated. A single pendulum was equipped with the wearable and a reference sensory system. The movement analysis showed that the median absolute error of the assessed angles was below 5◦. Sit-to-stand (STS) transfer is a short-term maneuver. In cased where we are interested in monitoring more complex movement (STS being just one of the many maneuvers) long-term reliability of the algorithm must be ensured. The proposed system was experimentally validated in a long-term walking on a treadmill and on a circular polygon with stairs, simulating different activities in everyday life (level-ground walking, stair negotiating, turning). Comparison of assessed and reference kinematic parameters yielded a median absolute error of the assessed angles of 5◦, with no expressed drift over time, regardless of the movement dynamics, duration, or type of the performed maneuver. The experimental validation of the performance of the magnetic compensation algorithm was accomplished. The experimental setup comprised of a single pendulum, mimicking one segment, and solenoidal coil which was used to introduce magnetic disturbances into the system. The results showed a large deviation of the angles, assessed without magnetic compensation (error up to 200◦). The orientations, assessed by algorithm with active compensation of the magnetic disturbances, were more precise with only a moderate error, regardless of the strength and direction of the imposed magnetic disturbance. Sit-to-stand transfer is one of the most common movements of daily life. It is assumed to be symmetrical with respect to body sagittal plane for healthy individuals, while persons with movement disabilities stand up in an asymmetrical way. Sit-tostand analysis of subjects following transtibial amputation showed evident asymmetry in kinematic and dynamic parameters with the sound limb being exposed to higher stress. The influence of different seat heights and velocities on asymmetry was tested. The asymmetry was not affected neither in kinematic nor dynamic parameters. This indicates that asymmetry in standing up pattern of subjects following transtibial amputation is the result of the standing up pattern developed after the amputation. We used the wearable sensory system to perform an analysis of STS of the patient with left-hip arthrosis. The patient was scheduled for a total hip replacement. Before the surgical procedure, the subject’s STS pattern was prominently asymmetrical in terms of joint angles and torques. Analysis of standing up three months and half a year after the surgery showed improved STS transfer with substantial asymmetry reduction between the affected and the sound side. This experiment confirmed the potential of wearable sensors being used in clinical practice for monitoring the effect of a surgical procedure and for assessing the success of the rehabilitation. The wearable sensory system is composed of inertial and magnetic measurement units, measurement insoles, and appropriate sensory fusion algorithms. It represents an alternative solution for measuring kinematic and dynamic parameters of human movement with moderate error (median error < 5◦). The error of the assessed quantities is not affected by the measuring environment, dynamics, duration, or type of the monitored movement. The system with implemented magnetic compensation can also be used in the environment with disturbed magnetic field. We present the solutions for two major issues of orientation estimation with an IMU: i) drift of the assessed orientation during long-term measurement and ii) effect of magnetic disturbances on the orientation assessment. By implementing the solutions we enabled the use of the wearable sensory system as a precise measurement instrument for measurement and analysis of human motion in clinical practice. In addition the sensory system can be used for providing feedback to the user or as a part of control systems of wearable robots. nosljivi senzorni sistem inercialna merilna enota merilni vložki razširjeni Kalmanov filter kinematični model magnetne motnje vstajanje kinematični parametri dinamični parametri asimetrija dolgotrajno gibanje wearable sensory system inertial measurement unit measurement insoles extended Kalman filter kinematic model magnetic disturbance sit-to-stand kinematic parameters dynamic parameters asymmetry long-term movement true false false Slovenski jezik Angleški jezik Doktorsko delo/naloga 2015-05-29 10:45:00 2015-05-29 10:45:02 2023-06-15 15:50:03 0000-00-00 00:00:00 2015 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 30922 11033940 RAZ_SLAJPAH_SEBASTJAN_i2015.pdf RAZ_SLAJPAH_SEBASTJAN_i2015.pdf 1 FEABC196A1689D6E948C93BBC72B3357 304dfdb92e2694b4c0e1f078e6ee30c00d16d14445ae41a08dc585d1d57144f5 69be0e94-a1a8-11eb-a523-00155dcfd717 20.500.12556/rul/657e2de9-65d7-4013-af02-248906dc1ebb https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=30877 Fakulteta za elektrotehniko 0 0 0