izpis_h1_title_alt

Superposition and compression of deep neutral networks
Zeman, Marko (Avtor), Bosnić, Zoran (Mentor) Več o mentorju... Povezava se odpre v novem oknu, Osipov, Evgeny (Komentor)

.pdfPDF - Predstavitvena datoteka, prenos (2,79 MB)
MD5: E7D7EA81E82DDA92ECC3EDCC815F8E89

Izvleček
In this work we investigate a combination of the two recently proposed techniques: superposition of multiple neural networks into one and neural network compression. We show that these two techniques can be successfully combined to deliver a great potential for trimming down deep (convolutional) neural networks. We study the trade-offs between the model compression rate and the accuracy of the superimposed tasks and present a new approach, where the fully connected layers are isolated from the convolutional layers and serve as a general purpose processing unit for several CNN models. We evaluate our techniques on adapted MNIST and CIFAR-100 dataset, calculating classification accuracy and comparing baseline to the superposition method. Our experiments confirm the usability of superposition in terms of avoiding the catastrophic forgetting effect. The work has a significant importance in the context of implementing deep learning on low-end computing devices as it enables neural networks to fit edge devices with constrained computational resources (e.g. sensors, mobile devices, controllers).

Jezik:Angleški jezik
Ključne besede:Artificial Intelligence, Machine Learning, Deep Learning, Convolutional Neural Networks, Model Compression, Superposition of Models
Vrsta gradiva:Magistrsko delo/naloga (mb22)
Organizacija:FRI - Fakulteta za računalništvo in informatiko
Leto izida:2020
COBISS.SI-ID:27690499 Povezava se odpre v novem oknu
Število ogledov:179
Število prenosov:79
Metapodatki:XML RDF-CHPDL DC-XML DC-RDF
 
Skupna ocena:(0 glasov)
Vaša ocena:Ocenjevanje je dovoljeno samo prijavljenim uporabnikom.
:
Objavi na:AddThis
AddThis uporablja piškotke, za katere potrebujemo vaše privoljenje.
Uredi privoljenje...

Sekundarni jezik

Jezik:Slovenski jezik
Naslov:Superpozicija in kompresija globokih nevronskih mrež
Izvleček:
V našem delu preučujemo kombinacijo dveh nedavno predlaganih tehnik, in sicer superpozicijo več nevronskih mrež v eni in kompresijo nevronskih mrež. Pokazali smo, da je mogoče ti dve tehniki uspešno kombinirati, kar kaže na velik potencial zmanjševanja velikosti globokih (konvolucijskih) nevronskih mrež. Preučujemo kompromis med stopnjo kompresije modela in natančnostjo naučenih nalog ter predstavljamo nov pristop, pri katerem so polno povezani nivoji mreže izolirani od konvolucijskih nivojev in služijo kot splošno namenska procesna enota za več modelov konvolucijskih nevronskih mrež. Uspešnost naših tehnik ocenjujemo na prilagojenih MNIST in CIFAR-100 podatkih, izračunamo točnost klasifikacije in primerjamo izhodiščno metodo z metodo superpozicije. Naši poskusi potrjujejo uporabnost superpozicije v smislu izogibanja učinku katastrofalnega pozabljanja pri učenju več zaporednih nalog. Namen dela je pomemben v smislu izvajanja globokega učenja na napravah z omejenimi računskimi viri (npr. senzorji, mobilne naprave, krmilniki).

Ključne besede:umetna inteligenca, strojno učenje, globoko učenje, konvolucijske nevronske mreže, kompresija modelov, supepozicija modelov

Podobna dela

Podobna dela v RUL:
Podobna dela v drugih slovenskih zbirkah:

Komentarji

Dodaj komentar

Za komentiranje se morate prijaviti.

Komentarji (0)
0 - 0 / 0
 
Ni komentarjev!

Nazaj