20.500.12556/RUL-178161 Spodbujevano učenje na impulznih nevronskih mrežah Reinforcement learning in spiking neural networks V diplomskem delu obravnavamo spodbujevano učenje na impulznih nevronskih mrežah, ki se obnašajo podobno kot človeški možgani. Predstavimo in rešimo ključne izzive učenja impulznih mrež ter razvijemo rešitve, ki upoštevajo tako biološko smiselnost kot zahtevnost simulacije. S prilagoditvijo klasične oblike sinapse, odvisne od nagrajevanja in časovne razporeditve impulzov (R-STDP), omogočimo učinkovito učenje in dodeljevanje zaslug preteklim odločitvam, pri čemer ohranimo osnovni princip R-STDP, kjer sinapse kodirajo vpliv pretekle aktivnosti nevronov na izbrane akcije brez uvedbe negativnih nagrad ali nerealističnih mehanizmov. Razviti sistem razširimo v arhitekturo akter-kritik, ki omogoča reševanje problemov z zakasnjenimi nagradami s prenosom pričakovane nagrade iz cilja v prejšnja stanja. Sistem ovrednotimo na poenostavljenih in nato na kompleksnejših nalogah, kot sta igra Pong in problem mrežnega sveta (gridworld). V igri Pong rezultati kažejo postopno daljše sekvence igranja brez zgrešitve žogice, v nalogi mrežnega sveta pa postopno izboljševanje strategije in krajšanje poti do cilja. In this thesis, we study reinforcement learning in spiking neural networks, a type of neural network that behaves similarly to the human brain. We present and address key challenges in training spiking networks and develop solutions that account for both biological plausibility and simulation complexity. By adapting the classical form of reward modulated spike timing dependent plasticity (R-STDP), we enable efficient learning and the assignment of credit to past decisions, while preserving the core principle of R-STDP, in which synapses encode the influence of past neuronal activity on selected actions, without introducing negative rewards or unrealistic mechanisms. We then extend the developed system into an actor-critic architecture, enabling it to solve problems with delayed rewards by propagating the expected reward from the goal back to previous states. The system is first evaluated on simplified tasks and then on more complex problems, such as the game Pong and the gridworld problem. In Pong, the results show progressively longer sequences of play without missing the ball, while in the gridworld task the strategy gradually improves and the path to the goal becomes shorter. impulzne nevronske mreže spodbujevano učenje R-STDP učenje TD učenje spiking neural networks reinforcement learning R-STDP learning TD learning true false false Slovenski jezik Angleški jezik Diplomsko delo/naloga 2026-01-20 14:20:02 2026-01-20 14:20:10 2026-02-16 08:57:35 0000-00-00 00:00:00 2026 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 38071 268513283 Pogacnik_Matjaz_-_Spodbujevano_ucenje_na_impulznih_nevronskih_mrezah.pdf Pogacnik_Matjaz_-_Spodbujevano_ucenje_na_impulznih_nevronskih_mrezah.pdf 1 B5EE8AC30AA4E26E61542926A0BD85AB 2ddbc6e52dd655d59f218f1bde9b50f7a6cf2c7b5288d5349563d27bec2a0850 b165dfb2-f602-11f0-bf92-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=225746 Fakulteta za računalništvo in informatiko 0 0 0