20.500.12556/RUL-139400 Učinkovit generativni model za algebrajske izraze in odkrivanje enačb magistrsko delo Efficient generative model for algebraic expressions and equation discovery Odkrivanje enačb se ukvarja z iskanjem algebrajskih izrazov, ki se prilegajo danim podatkom. V nalogah odkrivanja enačb damo pogosto velik poudarek na generiranje izrazov. Čeprav so se izrazi v preteklosti generirali predvsem z kontekstno neodvisnimi gramatikami, evolucijskimi algoritmi in ostalimi pristopi, pa nedavno v ospredje prihajajo globoki generativni modeli. Prvi poskusi generiranja diskretnih, strukturiranih podatkov z globokimi generativnimi modeli vključujejo variacijske samokodirnike (CVAE) za preproste, neomejene nize simbolov in variacijske samokodirnike gramatik (GVAE), ki z uporabo kontekstno neodvisnih gramatik izhod dekodirnika sintaktično omejijo. V magistrskem delu predstavimo variacijski samokodirnik hierarhij (HVAE), ki v nasprotju s prejšnjimi pristopi izhod dekodirnika omeji z binarnimi izraznimi drevesi. Drevesa zakodiramo in dekodiramo s prilagojenima različicama rekurentne nevronske mreže z vrati. Trdimo, da lahko pristop HVAE naučimo bolj učinkovito kot pristopa CVAE in GVAE. To trditev potrdimo z empiričnim vrednotenjem, kjer je HVAE pri rekonstrukciji bolj uspešen kot druga pristopa kljub manjši učni množici in nižji dimenziji latentnega vektorja. Slednje simbolni regresiji dovoljuje bolj učinkovito uporabo Bayesove optimizacije za odkrivanje kompleksnih enačb iz podatkov. Equation discovery searches for algebraic expressions that model the given data. In equation discovery tasks, strong emphasis is usually put on the generation of expressions. Historically, expressions are generated by using context-free grammars, evolutionary algorithms and other approaches, but recently generators based on deep learning started to emerge. First attempts at generating discrete, structured data with deep generative models include variational autoencoders (VAE) for simple, unconstrained character sequences, and grammar VAEs, which employ context-free grammars to syntactically constrain the output of the decoder. In contrast, the hierarchical VAE (HVAE) proposed in this paper constrains the output of the decoder to binary expression trees. These trees are encoded and decoded with two simple extensions of gated recursive units. We conjecture that the HVAE can be trained more efficiently than sequential and grammar based VAEs. Indeed, the experimental evaluation results show that the HVAE can be trained with less data and in a lower-dimensional latent space, while still significantly outperforming other approaches. The latter allows for efficient symbolic regression via Bayesian optimization in the latent space and the discovery of complex equations from data. odkrivanje enačb simbolna regresija nevronske mreže generativni modeli variacijski samokodirniki strojno učenje globoko učenje Bayesova optimizacija equation discovery symbolic regression neural networks variational autoencoders generative models machine learning deep learning Bayesian optimization true false false Slovenski jezik Angleški jezik Magistrsko delo/naloga 2022-09-02 08:15:02 2022-09-02 08:15:06 2024-05-29 12:46:43 0000-00-00 00:00:00 2022 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004 125418 119987459 5089.pdf 5089.pdf 1 4852792E0244EED4B0D0E0C1CF73204E 4183e14e91c6a1ff97866e1a2cb1d65aa66bc925faae47442917718eb3360245 8caeb633-2a86-11ed-92af-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=159961 Fakulteta za matematiko in fiziko Fakulteta za računalništvo in informatiko 0 0 0