Adaptive graph neural network training objective for link prediction

POŠTUVAN, TIM (avtor), Šubelj, Lovro (mentor)

One of the most important factors which contributes to success of a machine learning model is good training objective. Training objective crucially influences model’s performance and generalization capabilities. We focus on graph neural network training objective for link prediction, because it is barely explored in literature. In this case, training objective includes, among others, training mode, negative sampling strategy, and various hyperparameters, such as edge message ratio. Commonly, these hyperparameters are fine-tuned by complete search, which is very time consuming and model dependent. To mitigate these limitations, we propose Adaptive Grid Search (AdaGrid), which dynamically adjusts edge message ratio during training. It is model agnostic and highly scalable with fully customizable computational budget. AdaGrid can also boosts performance of the models up to 2.3%, while can be nine times more efficient than complete search.

• Jezik: Angleški jezik
• Ključne besede: machine learning, meta-learning, link prediction, graph neural networks, training objective
• Vrsta gradiva: Diplomsko delo/naloga
• Tipologija: 2.11 - Diplomsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko; FMF - Fakulteta za matematiko in fiziko
• Leto izida: 2021
• PID: 20.500.12556/RUL-128919
• COBISS.SI-ID: 75109379
• Datum objave v RUL: 17.08.2021

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Prilagodljiv učni cilj grafovskih nevronskih mrež za napovedovanje povezav

Izvleček

Eden izmed najbolj pomembnih faktorjev, ki pripomore k uspehu modela strojnega učenja, je dober učni cilj. Učni cilj kritično vpliva na modelovo uspešnost in njegovo sposobnosti posploševanja. Mi se osredotočimo na učni cilj grafovskih nevronskih mrež za napovedovanje povezav, saj je le-ta še neraziskan v literaturi. V tem primeru učni cilj med drugim zajema tudi učni način, način vzorčenja negativnih povezav in številne druge hiperparametre, kot je razmerje povezav za širjenje sporočil. Pogosto so ti hiperparametri izbrani s pomočjo izčrpnega iskanja, kar je izredno časovno potratno, optimalni hiperparametri pa niso prenosljivi med različnimi modeli. Da bi odpravili te težave, predlagamo Adaptive Grid Search (AdaGrid), ki med učenjem dinamično spreminja razmerje povezav za širjenje sporočil. Je neodvisen od modela in visoko skalabilen, saj se lahko čas učenja prilagodi do potankosti. AdaGrid prav tako lahko izboljša modele kar do 2,3%, pri čemer je lahko kar devetkrat učinkovitejši od izčrpnega iskanja.

• Ključne besede: strojno učenje, meta-učenje, napovedovanje povezav, grafovske nevronske mreže, učni cilj