20.500.12556/RUL-180960 Evaluation of Knowledge Graph Construction Methods on the Stroke Domain Vrednotenje metod za gradnjo grafov znanja na področju možganske kapi The proliferation of biomedical literature on stroke creates a severe information-overload problem that hinders systematic research and discovery. Knowledge graphs (KGs) can address this by structuring unstructured text into machine-readable form, yet building high-quality, domain-specific KGs remains difficult. This thesis presents a systematic evaluation of four KG construction methods spanning three paradigms: rule-based (OpenIE), supervised (REBEL, ReLiK), and LLM-based (Gemma 2 9B), using a novel corpus of more than 433k PubMed abstracts. A key contribution is a new "LLM-as-a-judge'' evaluation framework that scores extracted facts on 10 clinically informed criteria, moving beyond traditional structural metrics to assess factual correctness, clinical relevance, and utility. The results benchmark these methods and provide a roadmap for building a comprehensive StrokeKG to accelerate future research and clinical decision-making. Razširjenost biomedicinske literature o možganski kapi predstavlja izziv zaradi preobremenjenosti z informacijami, kar otežuje sistematično raziskovanje in odkrivanje novih spoznanj. Grafi znanja (KG) ponujajo rešitev s strukturiranjem neurejenega besedila v strojno berljivo obliko, vendar je gradnja kakovostnih, specifičnih grafov znanja še vedno težka. Diplomsko delo analizira štiri različne metode gradnje KG, ki zajemajo tri paradigme: na osnovi pravil (OpenIE), nadzorovanega učenja (REBEL, ReLiK) ter metodo, ki temelji na velikih jezikovnih modelih (LLM; Gemma 2 9B). Z uporabo novega korpusa z več kot 433.000 povzetki iz zbirke PubMed ugotavljamo najučinkovitejši pristop za področje možganske kapi. Ključni prispevek predstavlja nov način vrednotenja "LLM kot sodnik'', ki ocenjuje kakovost izluščenih informacij na podlagi 10 klinično podprtih kriterijev, s čimer presega tradicionalne metrike in meri dejansko pravilnost, relevantnost ter uporabnost informacij. Rezultati zagotavljajo jasen primerjalni vpogled v analizirane metode in ponujajo praktično usmeritev za razvoj celovitega grafa znanja StrokeKG, ki bo pospešil prihodnje raziskave in klinično odločanje. Knowledge Graph Construction Relation Extraction Large Language Models Biomedical Natural Language Processing gradnja grafov znanja luščenje relacij veliki jezikovni modeli biomedicinska obdelava naravnega jezika true false false Angleški jezik Slovenski jezik Diplomsko delo/naloga 2026-03-20 13:00:04 2026-03-20 13:00:13 2026-04-17 11:17:51 0000-00-00 00:00:00 2026 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 38278 275585283 Atanasovska_Elena_-_Vrednotenje_metod_za_gradnjo_grafov_znanja_na_podrocju_mozganske_kapi.pdf Atanasovska_Elena_-_Vrednotenje_metod_za_gradnjo_grafov_znanja_na_podrocju_mozganske_kapi.pdf 1 0E393C92A60F5443AC6BEB51D730174D 82969fee14d6c43c246f66338890e159b9eed30d339899080c157e7622708773 4747fb89-2454-11f1-b0ab-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=230994 Fakulteta za računalništvo in informatiko 0 0 0