Use of relaxed stochastic controls in reinforcement learning : magistrsko delo

Rems, Jan (author), Agram, Nacira (mentor), Košir, Tomaž (comentor)

In this work, we investigate how relaxed stochastic controls are used for exploration in continuous time and space reinforcement learning. The environment $X^u$ is modeled by a stochastic differential equation controlled by control $u$, while the value function $V^u$ is an infinite horizon performance functional. For relaxed control distribution $\pi$ we introduce relaxed versions of environment $X^{\pi}$ and value function $V^{\pi}.$ In a special linear-quadratic case the optimal control distribution turns out to be Gaussian with mean depending on the current state, and variance depending on exploration weight parameter. A reinforcement learning algorithm for optimal investment strategy in a simple model of the financial market with the infinite horizon is developed and tested.

• Language: English
• Keywords: reinforcement learning, exploration, stochastic control theory, relaxed controls, dynamical programming, optimal investment strategy
• Work type: Master's thesis/paper
• Typology: 2.09 - Master's Thesis
• Organization: FMF - Faculty of Mathematics and Physics
• Year: 2021
• PID: 20.500.12556/RUL-130550
• UDC: 519.8
• COBISS.SI-ID: 79333891
• Publication date in RUL: 16.09.2021

REMS, Jan, 2021, Use of relaxed stochastic controls in reinforcement learning : magistrsko delo [online]. Master’s thesis. [Accessed 14 April 2025]. Retrieved from: https://repozitorij.uni-lj.si/IzpisGradiva.php?lang=eng&id=130550

Secondary language

• Language: Slovenian
• Title: Uporaba relaksiranih stohastičnih akcij v spodbujevalnem učenju

Abstract

V tem delu si ogledamo, kako uporabiti relaksirane stohastične akcije pri definiranju raziskovanja v spodbujevalnem učenju v zveznem prostoru in času. Prostor $X^u$ je modeliran s stohastično diferencialno enačbo kontrolirano z akcijo $u.$ Funkcijo vrednosti $V^u$ je funkcional uspešnosti na neskončnem časovnem obdobju. Za relaksirano akcijo $\pi$ vpeljemo raziskovalno verzijo okolja $X^{\pi}$ in funkcijo vrednosti $V^{\pi}.$ V posebnem linearno-kvadratičnem primeru se izkaže, da je optimalna relaksirana akcija Gaussova, kjer je pričakovana vrednost odvisna od trenutnega stanja, varianca pa od parametra, ki kontrolira raven raziskovanja v modelu. Predstavljen je algoritem spodbujevalnega učenja za napoved optimalne strategije v preprostem modelu finančnega trga z neskončim časovnim oknom.

• Keywords: spodbujevalno učenje, raziskovanje okolja, teorija upravljanja stohastičnih sistemov, relaksirane stohastične akcije, dinamično programiranje, optimalna investicijska strategija