Adaptive graph neural network training objective for link prediction

POŠTUVAN, TIM (author), Šubelj, Lovro (mentor)

One of the most important factors which contributes to success of a machine learning model is good training objective. Training objective crucially influences model’s performance and generalization capabilities. We focus on graph neural network training objective for link prediction, because it is barely explored in literature. In this case, training objective includes, among others, training mode, negative sampling strategy, and various hyperparameters, such as edge message ratio. Commonly, these hyperparameters are fine-tuned by complete search, which is very time consuming and model dependent. To mitigate these limitations, we propose Adaptive Grid Search (AdaGrid), which dynamically adjusts edge message ratio during training. It is model agnostic and highly scalable with fully customizable computational budget. AdaGrid can also boosts performance of the models up to 2.3%, while can be nine times more efficient than complete search.

• Language: English
• Keywords: machine learning, meta-learning, link prediction, graph neural networks, training objective
• Work type: Bachelor thesis/paper
• Typology: 2.11 - Undergraduate Thesis
• Organization: FRI - Faculty of Computer and Information Science ; FMF - Faculty of Mathematics and Physics
• Year: 2021
• PID: 20.500.12556/RUL-128919
• COBISS.SI-ID: 75109379
• Publication date in RUL: 17.08.2021

Secondary language

• Language: Slovenian
• Title: Prilagodljiv učni cilj grafovskih nevronskih mrež za napovedovanje povezav

Abstract

Eden izmed najbolj pomembnih faktorjev, ki pripomore k uspehu modela strojnega učenja, je dober učni cilj. Učni cilj kritično vpliva na modelovo uspešnost in njegovo sposobnosti posploševanja. Mi se osredotočimo na učni cilj grafovskih nevronskih mrež za napovedovanje povezav, saj je le-ta še neraziskan v literaturi. V tem primeru učni cilj med drugim zajema tudi učni način, način vzorčenja negativnih povezav in številne druge hiperparametre, kot je razmerje povezav za širjenje sporočil. Pogosto so ti hiperparametri izbrani s pomočjo izčrpnega iskanja, kar je izredno časovno potratno, optimalni hiperparametri pa niso prenosljivi med različnimi modeli. Da bi odpravili te težave, predlagamo Adaptive Grid Search (AdaGrid), ki med učenjem dinamično spreminja razmerje povezav za širjenje sporočil. Je neodvisen od modela in visoko skalabilen, saj se lahko čas učenja prilagodi do potankosti. AdaGrid prav tako lahko izboljša modele kar do 2,3%, pri čemer je lahko kar devetkrat učinkovitejši od izčrpnega iskanja.

• Keywords: strojno učenje, meta-učenje, napovedovanje povezav, grafovske nevronske mreže, učni cilj