Evaluation of Knowledge Graph Construction Methods on the Stroke Domain

Atanasovska, Elena (author), Robnik Šikonja, Marko (mentor), Kocev, Dragi (comentor), Koloski, Boshko (comentor)

The proliferation of biomedical literature on stroke creates a severe information-overload problem that hinders systematic research and discovery. Knowledge graphs (KGs) can address this by structuring unstructured text into machine-readable form, yet building high-quality, domain-specific KGs remains difficult. This thesis presents a systematic evaluation of four KG construction methods spanning three paradigms: rule-based (OpenIE), supervised (REBEL, ReLiK), and LLM-based (Gemma 2 9B), using a novel corpus of more than 433k PubMed abstracts. A key contribution is a new "LLM-as-a-judge'' evaluation framework that scores extracted facts on 10 clinically informed criteria, moving beyond traditional structural metrics to assess factual correctness, clinical relevance, and utility. The results benchmark these methods and provide a roadmap for building a comprehensive StrokeKG to accelerate future research and clinical decision-making.

• Language: English
• Keywords: Knowledge Graph Construction, Relation Extraction, Large Language Models, Biomedical Natural Language Processing
• Work type: Bachelor thesis/paper
• Typology: 2.11 - Undergraduate Thesis
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2026
• PID: 20.500.12556/RUL-180960
• COBISS.SI-ID: 275585283
• Publication date in RUL: 20.03.2026

Secondary language

• Language: Slovenian
• Title: Vrednotenje metod za gradnjo grafov znanja na področju možganske kapi

Abstract

Razširjenost biomedicinske literature o možganski kapi predstavlja izziv zaradi preobremenjenosti z informacijami, kar otežuje sistematično raziskovanje in odkrivanje novih spoznanj. Grafi znanja (KG) ponujajo rešitev s strukturiranjem neurejenega besedila v strojno berljivo obliko, vendar je gradnja kakovostnih, specifičnih grafov znanja še vedno težka. Diplomsko delo analizira štiri različne metode gradnje KG, ki zajemajo tri paradigme: na osnovi pravil (OpenIE), nadzorovanega učenja (REBEL, ReLiK) ter metodo, ki temelji na velikih jezikovnih modelih (LLM; Gemma 2 9B). Z uporabo novega korpusa z več kot 433.000 povzetki iz zbirke PubMed ugotavljamo najučinkovitejši pristop za področje možganske kapi. Ključni prispevek predstavlja nov način vrednotenja "LLM kot sodnik'', ki ocenjuje kakovost izluščenih informacij na podlagi 10 klinično podprtih kriterijev, s čimer presega tradicionalne metrike in meri dejansko pravilnost, relevantnost ter uporabnost informacij. Rezultati zagotavljajo jasen primerjalni vpogled v analizirane metode in ponujajo praktično usmeritev za razvoj celovitega grafa znanja StrokeKG, ki bo pospešil prihodnje raziskave in klinično odločanje.

• Keywords: gradnja grafov znanja, luščenje relacij, veliki jezikovni modeli, biomedicinska obdelava naravnega jezika