20.500.12556/RUL-130550 Use of relaxed stochastic controls in reinforcement learning magistrsko delo Uporaba relaksiranih stohastičnih akcij v spodbujevalnem učenju In this work, we investigate how relaxed stochastic controls are used for exploration in continuous time and space reinforcement learning. The environment $X^u$ is modeled by a stochastic differential equation controlled by control $u$, while the value function $V^u$ is an infinite horizon performance functional. For relaxed control distribution $\pi$ we introduce relaxed versions of environment $X^{\pi}$ and value function $V^{\pi}.$ In a special linear-quadratic case the optimal control distribution turns out to be Gaussian with mean depending on the current state, and variance depending on exploration weight parameter. A reinforcement learning algorithm for optimal investment strategy in a simple model of the financial market with the infinite horizon is developed and tested. V tem delu si ogledamo, kako uporabiti relaksirane stohastične akcije pri definiranju raziskovanja v spodbujevalnem učenju v zveznem prostoru in času. Prostor $X^u$ je modeliran s stohastično diferencialno enačbo kontrolirano z akcijo $u.$ Funkcijo vrednosti $V^u$ je funkcional uspešnosti na neskončnem časovnem obdobju. Za relaksirano akcijo $\pi$ vpeljemo raziskovalno verzijo okolja $X^{\pi}$ in funkcijo vrednosti $V^{\pi}.$ V posebnem linearno-kvadratičnem primeru se izkaže, da je optimalna relaksirana akcija Gaussova, kjer je pričakovana vrednost odvisna od trenutnega stanja, varianca pa od parametra, ki kontrolira raven raziskovanja v modelu. Predstavljen je algoritem spodbujevalnega učenja za napoved optimalne strategije v preprostem modelu finančnega trga z neskončim časovnim oknom. reinforcement learning exploration stochastic control theory relaxed controls dynamical programming optimal investment strategy spodbujevalno učenje raziskovanje okolja teorija upravljanja stohastičnih sistemov relaksirane stohastične akcije dinamično programiranje optimalna investicijska strategija true false false Angleški jezik Slovenski jezik Magistrsko delo/naloga 2021-09-16 08:15:15 2021-09-16 08:15:18 2024-05-29 13:15:36 0000-00-00 00:00:00 2021 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 519.8 120215 79333891 3254.pdf 3254.pdf 1 F758F2DEA8454D2B99EEBBEA38C1DBB4 8117cc38843b14625ca426e24e720e1cc037ae64b4354712db56a1f8a80a3e11 3471e316-16b5-11ec-a523-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=147676 Fakulteta za matematiko in fiziko 0 0 0