Uspešnost učenja več zaporednih nalog v globokih nevronskih mrežahPevcin, Andraž (Avtor) Faganeli Pucer, Jana (Mentor) inkrementalno učenjegloboke nevronske mrežeklasifikacija slikkatastrofalno pozabljanjeInkrementalno učenje je ključno za učinkovito učenje prilagodljivih nevronskih mrež, ki se soočajo s konstantnim tokom novih podatkov. Pri njem se pojavlja velik problem---katastrofalno pozabljanje. V delu obravnavamo problem katastrofalnega pozabljanja pri inkrementalnem učenju in sistematično raziskujemo, kako na pozabljanje vplivata širina in globina nevronskih mrež. Eksperimentalni del je sestavljen iz učenja večslojnih perceptronov (MLP) in konvolucijskih nevronskih mrež (CNN) na prosto dostopnih podatkovnih množicah CIFAR-100 in pMNIST. Spremljamo spremembe klasifikacijske točnosti čez naloge in povprečno stopnjo pozabljanja po koncu učnega procesa. Rezultate pojasnimo z analizo ortogonalnosti gradientov posameznih nalog in njihove gostote. Poleg tega prikažemo spreminjanje odmika parametrov modela od optimuma prve naloge. V delu uspešno prikažemo, da v večini primerov inkrementalnega učenja širina opazno zmanjša pozabljanje, čeprav v nekaterih scenarijih manj kot v drugih. Pokažemo tudi, da globina, odvisno od scenarija, ne vpliva ali pa celo poslabša pozabljanje.20252025-09-15 11:00:01Diplomsko delo/naloga173260sl