Uvod Z približno 1.3 kg predstavljajo človeški možgani biološki super-računalnik. Z svojimi več deset-milijardami nevroni, kateri se povezujejo v kompleksne nevronske mreže, definirajo naše osebnostne lastnosti, čutijo okolico, nadzorujejo naše gibanje, shranjujejo in priklicujejo informacije, ter nadzorujejo vse ostale aspekte človeškega obnašanja. Kljub ogromnem napredku na področju nevroznanosti ter umetne inteligence v zadnjih desetletjih, so osnovni mehanizmi procesiranja informacij in delovanja spomina v možganih človeka še vedno v veliki meri neznani.
Večina nalog s katerimi se srečujemo v vsakodnevnih situacijah, človeški možgani uporabljajo asociativni tip spomina, kateri deluje na daljših časovnih intervalih. Primer je branje knjige, npr. romana. Skozi zgodbo bralec spozna imena ljudi, s katerimi so povezane določene karakteristike in dogodki. Ko bralec nadaljuje z zgodbo, si mora tekom zgodbe zapomniti te asociacije, da si lahko zgradi ustrezen miselni model zgodbe. V področju umetne inteligence to predstavlja zelo kompleksen problem, katerega pa človek reši tako-rekoče brez napora.
Verjame se, da dolgoročne pomnilne sposobnosti temeljijo na Hebbijski sinaptični plastičnosti. Te pomnilne sposobnosti so lahko preizkušene na umetnih Hebbijskih pomnilnih mrežah. Predvsem zanimiva je uporaba SNN (Spiking Neural Network) oblik algoritmov, kateri so osnovani na modelih 3. generacije nevronov in so računsko zmogljivejši kot prejšnje variante umetnih nevronski mrež. Ko pride do računske učinkovitosti in porabe energije na dejanski strojni opremi, je smiselno razmisliti o uporabi neuromorfne strojne opreme, katera je načrtovana tako, da zelo natančno oponaša biološke nevrone ter biološke nevronske mreže. Ko je umetna nevronska mreža naučena, se lahko posluži lokalne sinaptične plastičnosti sodobne neuromorfne strojne opreme.
Cilj naloge je bil skonstruirati algoritem preproste koničaste Hebbijske pomnilne nevronske mreže, katerega se bi potem lahko implementiralo na Intelov neuromorfni čip Loihi.
Metodologija V študiji Limbacher ter Legenstein [2], avtorja predstavita povezavo med pomnilnimi nevronskimi mrežami ter biološko verjetnimi modeli kognicije. Ugotovila sta, da lahko umetne nevronske mreže izkoristijo princip Hebbijske plastičnosti pri reševanju nalog, katere zahtevajo uporabo spomina na daljših časovnih intervalih. Kljub temu, da so nevroni v njunem modelu osnovani na podlagi hitrosti proženja, avtorja ne vidita razlogov, zakaj model ne bi moral biti implementiran v SNN obliki.
Princip pretoka informacij med nevroni v modelu koničaste Hebbijske pomnilne nevronske mreže, je v nasprotju z modelom v [2], osnovan na podlagi točnega časa proženja posamezne konice. Vsak nevron kot samostojna enota, generira na svojem izhodu vlak konic. Ta vlak konic potem steče preko povezave do nekega drugega nevrona – torej se pomnoži z utežjo sinapse. Utežena vsota konic iz vseh pre-sinaptičnih nevronov v nek post-sinaptični nevron si lahko predstavljamo kot nek vhodni tok v ta nevron. Ta vhodni tok potem vpliva na dinamiko napetosti membrane, kar nadalje vpliva na generiranje novih izhodnih konic.
Jedro Hebbijske pomnilne nevronske mreže je hetero-asociativni spominski modul, kateri je nadzorovan z preprostimi stranskimi mrežami. Vsak vhod v model je lahko dejstvo ali pa vprašanje, glede na kar model aktivira pomnilno ali pa priklicno vejo. Druga veja je ta čas neaktivna. Dejstva doprinesejo uporabne informacije, katere model shrani v svoj spomin s pomočjo principa Hebbijske plastičnosti. Ko pa je modelu predstavljeno vprašanje, mora le-ta odgovoriti z odgovorom. Vprašanje je dostopno modelu, torej govorimo o nadzorovanem učenju. Podatke iz nabora podatkov se razdeli na učne ter testne. Model se uči na učnem setu podatkov ter mora kasneje predvideti pravilen odgovor na testnem setu podatkov.
V magistrskem delu so predstavljeni različni modeli ne-koničastih ter koničastih Hebbijskih pomnilnih nevronskih mrež. Pomnilne sposobnosti teh mrež se lahko preizkusi tako, da mora mreža odgovoriti na zastavljeno vprašanje. Vsebino za taksen odgovor mreža črpa iz svojega spomina, ki je nastal kot posledica predhodno predstavljenih dejstev oz. zgodbe. Primeri takšnih nalog za nevronsko mrežo so bAbI naloge. Le-te so skonstruirane tako, da preverjajo sposobnosti razumevanja ter razlaganja nekega inteligentnega sistema. V sklopu naloge sem ustvaril tudi svojo sintetično nalogo, glede na katero sem prilagodil arhitekturo pomnilnih mrež. Vse v nalogi omenjene mreže sem testiral z bAbI nalogo 4, ter z sintetično nalogo.
Rezultati Ne-koničaste ter koničaste Hebbijske pomnilne nevronske mreže predstavljene v magistrski nalogi so bile sposobne rešiti nalogo bAbI 4 ter sintetično nalogo. Kadar so bili parametri mreže optimalno izbrani so mreže dosegle 100% natančnost predvidenega odgovora.
Zaključek Dosežena je bila zelo dobra stopnja natančnosti učenja različnih Hebbijskih pomnilnih nevronskih mrež s katerimi sem eksperimentiral. Preprost dokaz koncepta je bil ustvarjen in preizkušen z dobrimi rezultati. Ta koncept je lahko dalje uporabljen kot osnova za implementacijo algoritma na nuromorfni čip Loihi.
|
