Multi-modal learning for construction and enrichment of temporal relations in knowledge graphs

Knez, Timotej (avtor), Žitnik, Slavko (mentor)

In many real-world applications ranging from clinical diagnostics to digital news modeling the ability to understand what happened, when, and in what order is essential. Time is a fundamental dimension in human knowledge and reasoning, and yet most structured knowledge representations fail to adequately capture temporal dynamics. Traditional knowledge graphs predominantly focus on static, entity-centric facts, lacking support for modeling evolving events and their temporal relations. To address this gap, temporal knowledge graphs provide a structured, machine-readable framework for representing events and the temporal, causal, or contextual links between them. This dissertation presents a framework for the construction and enrichment of event-centric temporal knowledge graphs from unstructured textual data, using multi-modal learning approaches. The work is organized around three core contributions. First, it introduces a novel hybrid architecture for temporal relation extraction that combines textual features from large pretrained language models with structured context derived from external knowledge graphs. This integration enables the model to infer nuanced temporal relationships that may not be explicitly stated in the text, particularly benefiting domains where background knowledge is crucial, such as clinical narratives. Second, the dissertation proposes an end-to-end pipeline that unifies event detection, temporal relation classification, coreference resolution, and graph construction. This pipeline is capable of incrementally enriching the knowledge graph as new information becomes available, enabling dynamic and scalable temporal reasoning. The design focuses on medical applications such as electronic health record analysis, where accurate temporal modeling supports decision-making and treatment planning. Third, the work advances the field by tackling fine-grained temporal information extraction. Instead of relying solely on categorical temporal links (e.g., "before", "after"), the framework explores methods for estimating absolute timestamps and event durations using large language models and supervised learning. These techniques allow the construction of precise event timelines, which are valuable in time-critical domains like healthcare, legal analysis, and historical research. Through extensive empirical evaluation on the medical domain, the dissertation demonstrates that incorporating multi-modal knowledge substantially improves the accuracy, robustness, and applicability of temporal relation extraction. The proposed models and methodologies set a foundation for the next generation of temporal reasoning systems and open new possibilities for timeline generation, question answering, and event forecasting in both medical and potentially other domains.

• Jezik: Angleški jezik
• Ključne besede: temporal relations, information extraction, language models, multi-modality
• Vrsta gradiva: Doktorsko delo/naloga
• Tipologija: 2.08 - Doktorska disertacija
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2026
• PID: 20.500.12556/RUL-185483
• COBISS.SI-ID: 290985987
• Datum objave v RUL: 06.08.2026

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Večmodalno učenje za izdelavo in obogatitev časovnih relacij v grafih znanja

Izvleček

Prepoznava časovnih informacij iz nestrukturiranih besedil je pomembna za razumevanje poteka dogodkov v širok nabor praktičnih uporab od postavljanja kliničnih diagnoz do modeliranja digitalnih novic. Kljub temu se večina obstoječih baz znanja osredotoča na opis entitet ter njihovih lastnosti, s čimer ne zajamejo poteka dogajanja. Tovrstne informacije lahko naslovimo z uporabo dogodkovnih grafov znanja, kjer se namesto na entitete osredotočamo na dogodke, te pa lahko opremimo s časovnimi informacijami, kot so časovne relacije, absolutni časi dogodkov ter vzročne in kontekstne odvisnosti. V delu predstavljamo ogrodje za izdelavo in obogatitev časovnih relacij v grafih znanja z uporabo večmodalnega modela, ki združuje strukturirane informacije iz obstoječe baze znanja z informacijami iz prostega besedila. S tem omogoča natančnejšo prepoznavo časovnih relacij. Delo je sestavljeno iz treh glavnih delov na podlagi treh glavnih prispevkov. V prvem predstavimo novo hibridno arhitekturo, ki združuje vektorske predstavitve podatkov iz grafa znanja s podatki iz prostega besedila. Na podlagi predstavitev dogodkov iz obeh virov napoveduje časovne relacije med dogodki. S tem modelu omogoči prepoznavo skritih relacij, ki niso izrecno izražene v besedilu, kar še posebej pomaga na področjih, kot je medicina, kjer je za razumevanje potrebno predhodno znanje. V drugem delu predstavimo cevovod, v katerem združimo predlagani model za prepoznavo časovnih relacij z modeli za prepoznavo dogodkov, razreševanje koreferenc ter metodami gradnje grafov znanja. S tem omogočimo celoten proces izgradnje in obogatitve grafov znanja, pri katerem začnemo z nestrukturiranim besedilom in končamo z dogodkovnim grafom znanja. Pri tem lahko kot osnovo uporabimo tudi obstoječ graf znanja, ki ga s tem dopolnimo in obogatimo. To omogoča postopno obogatitev virov znanja z novimi informacijami za izboljšano časovno sklepanje. Naša arhitektura se osredotoča predvsem na medicinske aplikacije, kot so analiza zdravstvenih zapisov, kjer so natančne časovne informacije ključne za pomoč pri odločitvah in načrtovanje zdravljenja. V tretjem delu analiziramo uporabo različnih pristopov za prepoznavo natančnejših časovnih informacij o dogodkih namesto prepoznave kategoričnih časovnih relacij, kot sta "prej" in "potem". Osredotočimo se na prepoznavo časa začetka ter konca posameznega dogodka in analiziramo uspešnost tako deskriptivnih kot generativnih modelov pri njunem določanju. S tem omogočimo izgradnjo natančnih časovnic dogodkov, ki so pomembne za področja, kot so zdravstvo, pravna analiza in raziskovanje zgodovine. Rezultati eksperimentov z medicinskimi podatki kažejo, da vključevanje splošnega znanja v proces prepoznave časovnih relacij pomembno izboljša natančnost prepoznanih relacij. Predlagane metode služijo kot osnova za nadaljnje izboljšave na področju prepoznave časovnih informacij in odpirajo dodatne priložnosti za sisteme, kot so izdelava časovnic, odgovarjanje na vprašanja in napovedovanje dogodkov tako na področju medicine kot drugod.

• Ključne besede: časovne relacije, ekstrakcija informacij, jezikovni modeli, večmodalnost