izpis_h1_title_alt

Podatkovno vodena inicializacija uteži nevronskih mrež
ID Petelin, Gašper (Avtor), ID Kononenko, Igor (Mentor) Več o mentorju... Povezava se odpre v novem oknu

.pdfPDF - Predstavitvena datoteka, prenos (3,69 MB)
MD5: 3341F643861C6EA368A665744E43A9DD

Izvleček
V zadnjih letih so na področju strojnega učenja umetne nevronske mreže dosegle precejšen preboj in trenutno na nekaterih domenah dosegajo precej bolše rezultate kot klasične metode strojnega učenja. S popularizacijo nevronskih mrež pa je začela rasti tudi njihova kompleksnost, kar v praksi pomeni počasnejše in manj stabilno učenje ter potreba po večji količini podatkov. V okviru magistrske naloge je predstavljen nov podatkovno voden način inicializacije uteži nevronskih mrež, ki idejo črpa iz nenadzorovanega učenja, začetne uteži ciljne nevronske mreže izračuna s pomočjo učnih podatkov. Tak način lahko v določenih primerih precej izboljša hitrost učenja in točnost napovedi. Prednost predlagane inicializacije je tudi ta, da jo je možno izvesti paralelno, kar precej pospeši celoten proces inicializacije. Predlagana inicializacija in vpliv njenih parametrov je testiran na učni množici slik in učni množici genskih podatkov.

Jezik:Slovenski jezik
Ključne besede:nevronske mreže, inicializacija uteži, podatkovno vodena inicializacija
Vrsta gradiva:Magistrsko delo/naloga
Tipologija:2.09 - Magistrsko delo
Organizacija:FRI - Fakulteta za računalništvo in informatiko
Leto izida:2020
PID:20.500.12556/RUL-117118 Povezava se odpre v novem oknu
COBISS.SI-ID:32849411 Povezava se odpre v novem oknu
Datum objave v RUL:24.06.2020
Število ogledov:1058
Število prenosov:182
Metapodatki:XML RDF-CHPDL DC-XML DC-RDF
:
Kopiraj citat
Objavi na:Bookmark and Share

Sekundarni jezik

Jezik:Angleški jezik
Naslov:Data driven neural network weight initialization
Izvleček:
In recent years the popularity of artificial neural networks has grown within the field of machine learning. Neural networks have achieved surprisingly good results in specific domains compared to other more traditional machine learning approaches. But with growth in their popularity, their complexity also grew. More complex neural networks are usually harder to train since the process is less stable and it requires more training data. A new data-driven weight initialization is proposed, that is based on unsupervised learning and is using training data to approximate optimal weights. This new approach is useful and in some cases gives a large boost to neural network learning speed and accuracy. Initialization is also scalable since it is easy to parallelize. Proposed initialization and optimal values of its parameters are tested on a dataset of images and datasets of biological gene expressions.

Ključne besede:neural networks, weight initialization, data driven initialization

Podobna dela

Podobna dela v RUL:
Podobna dela v drugih slovenskih zbirkah:

Nazaj