Representation Learning and Temporal Modeling of Large-Scale Dynamic Systems

Poličar, Pavlin Gregor (author), Zupan, Blaž (mentor), Žitnik, Marinka (comentor)

Modern scientific inquiry is increasingly characterized by the analysis of massive, high- dimensional datasets. In many domains, low-dimensional embeddings have become an important tool for exploring such data: they reveal structure, support hypothesis generation, and facilitate scientific communication. However, their practical use raises methodological challenges related to scalability, reuse, interpretation, and the incorporation of temporal structure. This dissertation makes three sets of contributions. First, it develops scalable and reusable embedding infrastructure through openTSNE, a modular Python implementation of t-SNE, and a principled method for embedding new observations into existing reference maps, enabling comparative analyses and helping mitigate batch effects in single-cell genomics. Second, it introduces automated methods for interpreting embeddings, including VERA for static region-based explanations and a domain-aware annotation approach that incorporates hierarchical medical knowledge. Third, it develops methods for temporally aware embedding construction, including the directional coherence loss and related extensions that incorporate temporal structure directly into the embedding process. Evaluated on nationwide electronic health record and single-cell transcriptomics data, these contributions show how low-dimensional embeddings can be constructed, reused, interpreted, and extended to support reasoning about complex dynamic systems.

• Language: English
• Keywords: dimensionality reduction, t-SNE, interpretability, temporal modeling, electronic health records, single-cell genomics
• Work type: Doctoral dissertation
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2026
• PID: 20.500.12556/RUL-185497
• Publication date in RUL: 06.08.2026

Secondary language

• Language: Slovenian
• Title: Učenje predstavitev in časovno modeliranje velikih, dinamičnih sistemov

Abstract

Sodobne znanstvene raziskave vse bolj temeljijo na analizi velikih, visokorazsežnih podatkovnih zbirk. Na številnih področjih so dvorazsežne vložitve postale pomembno orodje za analizo velikih podatkovnih zbirk, saj v podatkih razkrivajo strukturo, pomagajo pri oblikovanju hipotez in podpirajo znanstveno komunikacijo. Njihova praktična uporaba pa predstavlja tudi številne metodološke izzive, povezane s skalabilnostjo, ponovno uporabo, interpretacijo in upoštevanjem časovne strukture podatkov. V disertaciji predstavimo tri sklope prispevkov. Prvi je razvoj skalabilne in razširljive infrastrukture, ki vključuje modularno implementacijo metode t-SNE v Pythonu, imenovano openTSNE, ter metodo za vključevanje novih vzorcev v obstoječe referenčne vložitve, kar omogoča njihovo ponovno uporabo, primerjave med zbirkami in zmanjšuje vpliv šarže pri analizi posameznih celic. Drugi sklop se osredotoča na interpretacijo vložitev z razvojem metode VERA za samodejne statične razlage na podlagi regij in domensko prilagojenega pristopa k anotaciji, ki vključuje hierarhično medicinsko znanje. Tretji sklop uvaja časovno ozaveščene pristope h gradnji vložitev z izgubo smerne koherentnosti in povezanimi razširitvami, ki časovno strukturo neposredno vključijo v postopek gradnje vložitev. Razvite pristope ovrednotimo na podatkih elektronskih zdravstvenih zapisov in na podatkih, pridobljenih iz celične transkriptomike ter pokažemo, da je nizkorazsežne vložitve mogoče zgraditi na učinkovit način, jih ponovno uporabiti, samodejno razložiti in nadgraditi tako, da bolje odražajo časovno strukturo podatkov.

• Keywords: zmanjšanje dimenzionalnosti, t-SNE, interpretacija, časovno modeliranje, elektronski zdravstveni zapisi, analiza genske ekspresije