A variational autoencoder for n-ary trees : magistrsko delo

Perčinić, Martin (avtor), Todorovski, Ljupčo (mentor), Mežnar, Sebastian (komentor)

The growth of generative AI and deep learning has caused an increase in the number of deep generative models that generate data of various types. Variational autoencoders (VAEs) are deep generative models, which, apart from generating data, also embed input data into a vector latent space. The hierarchical variational autoencoder (HVAE) is an autoencoder that is used for hierarchical data and can encode and decode binary trees. In this thesis, we introduce its upgrade, the hierarchical variational autoencoder nHVAE, which can encode and decode trees of arbitrary degrees. This upgrade increases the autoencoder's applicability, extending it to various fields where the data is represented with n-ary trees. The nHVAE model implements two gated recurrent units (GRUs) with the ability to encode and decode individual tree nodes of arbitrary degree. Results of the experimental comparison of nHVAE with HVAE show that the two autoencoders have similar performance. They also show that nHVAE can efficiently generate high-degree trees and is more efficient than HVAE when trained on small data sets.

• Jezik: Angleški jezik
• Ključne besede: neural networks, variational autoencoders, generative models, n-ary trees, machine learning, deep learning
• Vrsta gradiva: Magistrsko delo/naloga
• Tipologija: 2.09 - Magistrsko delo
• Organizacija: FMF - Fakulteta za matematiko in fiziko
• Leto izida: 2024
• PID: 20.500.12556/RUL-164705
• UDK: 004.42
• COBISS.SI-ID: 213840131
• Datum objave v RUL: 08.11.2024

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Variacijski samokodirnik za drevesa poljubne stopnje

Izvleček

Razvoj generativne umetne inteligence in globokega učenja je prispeval k razvoju številnih globokih generativnih modelov za namene tvorjenja podatkov različnih vrst. Variacijski samokodirniki (VAE) so globoki generativni modeli, ki poleg tvorjenja podatkov omogočajo vložitve vhodnih podatkov v latentni vektorski prostor. Variacijski samokodirnik hierarhij (HVAE) je samokodirnik, ki se uporablja za hierarhične podatke ter lahko kodira in dekodira dvojiška drevesa. V tej nalogi predstavimo nadgradnjo tega samokodirnika, imenovano nHVAE, ki lahko kodira in dekodira drevesa poljubne stopnje. Nadgradnja razširja uporabnost samokodirnika na področja, kjer so podatki predstavljeni z drevesi poljubne stopnje. Model nHVAE uporablja dve posodobljeni rekurentni nevronski mreži z vrati (GRU), ki lahko kodirajo in dekodirajo posamezna vozlišča poljubne stopnje. Rezultati empiričnega, primerjalnega vrednotenja modela nHVAE s HVAE kažejo, da imata oba samokodirnika podobno učinkovitost. Rezultati za nHVAE tudi kažejo na njegovo učinkovitost pri tvorjenju dreves višjih stopenj in večjo učinkovitost od HVAE pri učenju iz manjših podatkovnih množic.

• Ključne besede: nevronske mreže, variacijski samokodirniki, generativni modeli, drevesa poljubne stopnje, strojno učenje, globoko učenje