20.500.12556/RUL-175168 Večagentno globoko spodbujevano učenje za avtomatsko skaliranje v oblačnih arhitekturah Multi-agent deep reinforcement learning for auto-scaling in cloud-native architectures Sistemi, zasnovani z oblačno (angl. cloud-native) paradigmo, se zanašajo na elastičnost za dinamično prilagajanje virov glede na nepredvidljive obremenitve. Tradicionalni hevristični pristopi so pogosto nezadostni, ker ne morejo modelirati kompleksne dinamike obremenitev ali uskladiti razmerje med zmogljivostjo in izrabo virov. Namesto tega reagirajo šele po potrebi po replikaciji ali ponovnem zagonu kontejnerjev, kar lahko prekine neprekinjeno delovanje mikrostoritev v porazdeljenih okoljih. Ta omejitev je še izrazitejša v robno-oblačnih (angl. edge-cloud) okoljih, kjer heterogenost, spremenljivost omrežja in omejeni viri dodatno otežujejo nemoteno prilagajanje. Da bi premagali te izzive, predstavljamo MARLISE, ogrodje za natančno izvedeno prilagajanje mikrostoritev brez prekinitve. Razvito je bilo s tremi različicami algoritmov globokega spodbujevalnega učenja: Deep Q-Networks (DQN), Deterministic Policy Gradient (DDPG), in Proximal Policy Optimization (PPO). Vsako različico MARLISE smo ocenili in ugotovili, da zmanjšuje odzivne čase, izboljšuje učinkovitost uporabe virov, povečuje skalabilnost ter predstavlja obetavno rešitev za zagotavljanje elastičnosti virov v stanjskih (angl. stateful) mikrostoritvah v robno-oblačnih okoljih. Cloud-native systems depend on elasticity to dynamically adjust resources in response to unpredictable workloads. Traditional threshold and heuristic approaches are often insufficient because they cannot model complex workload dynamics or balance trade-offs between performance and resource usage. Instead, they rely on reactive container replication or restarts, which can disrupt the continuity of microservices in distributed environments. This limitation is even more pronounced in edge-cloud environments, where heterogeneity, network variability, and limited resources make seamless scaling more difficult. To overcome these challenges, we introduce Multi-Agent Reinforcement Learning-based In-place Scaling Engine (MARLISE), a framework for precise in-place scaling of microservices. It is developed using three versions of Deep Reinforcement Learning algorithms: Deep Q-Networks (DQN), Deterministic Policy Gradient (DDPG), and Proximal Policy Optimization (PPO). We evaluated each version of MARLISE and found that it reduces response times, improves resource efficiency, and enhances scalability compared to heuristic methods. Our results show MARLISE as a promising solution for resource elasticity of stateful microservices in edge-cloud environments. Kubernetes Robni-oblak Avtomatsko skaliranje Večagentno globoko spodbujevano učenje Skaliranje na mestu Mikrostoritve Kubernetes Edge-cloud Auto-scaling Multi-Agent Deep Reinforcement Learning In-place scaling Microservices true false false Slovenski jezik Angleški jezik Magistrsko delo/naloga 2025-10-20 10:00:18 2025-10-20 10:00:29 2025-12-07 03:44:48 0000-00-00 00:00:00 2025 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 37729 255582211 Prodanov_Jovan_-_Vecagentno_globoko_spodbujevano_ucenje_za_avtomatsko_skaliranje_v_oblacnih_arhi.pdf Prodanov_Jovan_-_Vecagentno_globoko_spodbujevano_ucenje_za_avtomatsko_skaliranje_v_oblacnih_arhi.pdf 1 73FFA2BBCAAF68E6E2A63416F51FC0B0 5bea5512d77e9081eb94038b0cdd73d1e03050a1e1d23b12b4fa59e2eb0d7de4 9780332f-ad8a-11f0-9328-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=220473 Fakulteta za računalništvo in informatiko 0 0 0