Stochastic optimal control using machine learning : doctoral thesis

Rems, Jan (author), Agram, Nacira (mentor)

Stochastic optimal control is a branch of applied mathematics concerned with optimising decisions in systems influenced by randomness. It plays an important role in various fields, including finance, energy markets, and engineering. Classical approaches to stochastic control have led to the development of both rich theoretical foundations and a range of numerical methods. In recent years, machine learning techniques have emerged as a powerful alternative for solving stochastic control problems, offering flexible and general approaches. This thesis investigates several stochastic control problems from both theoretical and computational perspectives. We begin by analysing the control of conditional McKean-Vlasov stochastic differential equations and the problem of optimal quadratic hedging, with particular attention to models involving jump processes. We also examine dynamic risk measures through their formulations using backward stochastic differential equations, a framework deeply connected to stochastic control theory. Furthermore, we study contracts in energy markets in the setting of Dynkin games, which we relate to doubly reflected backward stochastic differential equations. For each of these problems, we propose dedicated deep learning algorithms designed to provide effective numerical solutions. The performance of these methods is evaluated on benchmark examples. In the case of backward stochastic differential equations-based problems, the additional mathematical structure allows us to provide results on the convergence of the algorithms.

• Language: English
• Keywords: stochastic control, backward stochastic differential equations, Dynkin games, dynamic risk measures, hedging, deep learning, neural networks
• Work type: Doctoral dissertation
• Typology: 2.08 - Doctoral Dissertation
• Organization: FMF - Faculty of Mathematics and Physics
• Year: 2025
• PID: 20.500.12556/RUL-174316
• UDC: 519.8
• COBISS.SI-ID: 251227907
• Publication date in RUL: 01.10.2025

Secondary language

• Language: Slovenian
• Title: Stohastični kontrolni sistemi z uporabo strojnega učenja

Abstract

Stohastični kontrolni sistemi predstavljajo področje uporabne matematike, ki se ukvarja z optimizacijo odločitev v sistemih, na katere vpliva naključnost. Pomembno vlogo imajo na različnih področjih, med drugim v financah, energetskih trgih in inženirstvu. Klasični pristopi k stohastičnemu upravljanju so privedli do razvoja bogatih teoretičnih temeljev in številnih numeričnih metod. V zadnjih letih so se kot močna alternativa pri reševanju problemov stohastičnega upravljanja pojavile tehnike strojnega učenja, ki ponujajo prilagodljiv in splošen pristop. Ta disertacija obravnava več problemov s področja stohastičnih kontrolnih sistemov tako z vidika teorije kot tudi z vidika računskih metod. Najprej analiziramo upravljanje pogojnih stohastičnih diferencialnih enačb tipa McKean-Vlasov in problem optimalnih kvadratnih varovalnih portfeljev, s posebnim poudarkom na modelih s procesi s skoki. Proučimo tudi dinamične mere tveganja prek njihove formulacije z uporabo povratnih stohastičnih diferencialnih enačb, okvira, ki je tesno povezan s teorijo stohastičnega upravljanja. Poleg tega proučujemo pogodbe na energetskih trgih v okviru Dynkinovih iger, ki jih povezujemo z dvojno reflektiranimi povratnimi stohastičnimi diferencialnimi enačbami. Za vsakega od teh problemov predlagamo namenske algoritme globokega učenja, zasnovane za iskanje učinkovitih numeričnih rešitev. Učinkovitost teh metod ocenimo na referenčnih primerih. V primeru problemov, ki temeljijo na povratnih stohastičnih diferencialnih enačbah, nam dodatna matematična struktura omogoča, da podamo rezultate o konvergenci algoritmov.

• Keywords: stohastični kontrolni sistemi, povratne stohastične diferencialne enačbe, Dynkinove igre, dinamične mere tveganja, varovalni portfelji, globoko učenje, nevronske mreže