Reinforcement learning of large language models based on information propagation in graphs

Mihevc, Anže (avtor), Žitnik, Slavko (mentor), Bonchi, Francesco (komentor)

Large Language Models (LLMs) are rapidly transforming information systems, increasingly contributing to the generation and propagation of online content. In social media environments, where AI-generated posts and agents are becoming pervasive, understanding how LLMs behave and adapt within social graph structures remains largely unexplored, particularly in dynamic, process-based settings studied in network science. Existing research on diffusion and influence processes typically assumes overly simplified, one-dimensional models of user behavior, overlooking the rich social and linguistic dynamics of real interactions. This thesis introduces a novel socially aware alignment framework for LLMs, designed to integrate language modeling with network-based information propagation dynamics. We first analyze the embedding space of social dimensions, demonstrating that several dimensions, such as trust, conflict, and support, are moderately correlated, and we extend this space with additional classifiers for stance detection. Building on this foundation, we propose a generalization of the Binary Cascade Model (BCM) that incorporates multi-dimensional, socially grounded user representations. An efficient reward formulation is developed to exploit the structure of the active set during propagation, enabling scalable optimization. The complete reinforcement learning pipeline employs Proximal Policy Optimization (PPO) to align the LLM’s generation behavior with the social context of the network. The framework is extensively evaluated on both synthetic graphs, generated with controllable community and feature structures, and real-world cascade data from the Brexit Twitter($X$) discourse. Results show that the proposed alignment method successfully models realistic propagation dynamics, revealing inherent biases in LLMs toward specific stances and instabilities in highly polarized settings. The findings have dual implications: technically, the framework advances socially informed alignment of language models for applications such as public communication and information campaigns; ethically, it raises concerns about potential misuse for opinion manipulation. Future work will focus on improving PPO stability, enhancing reward predictability, and exploring larger model architectures for more robust socially aligned behavior.

• Jezik: Angleški jezik
• Ključne besede: Artificial Intelligence, Large Language Models, Reinforcement Learning, Alignment, Graphs
• Vrsta gradiva: Magistrsko delo/naloga
• Tipologija: 2.09 - Magistrsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2025
• PID: 20.500.12556/RUL-175853
• COBISS.SI-ID: 259379459
• Datum objave v RUL: 11.11.2025

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Spodbujevano učenje velikih jezikovnih modelov na osnovi razširjanja podatkov v grafih

Izvleček

Veliki jezikovni modeli hitro spreminjajo informacijske sisteme in vse bolj prispevajo k ustvarjanju ter širjenju spletnih vsebin. V kontekstu družbenih medijev, kjer so objave in agenti, ki jih ustvarja umetna inteligenca, vse bolj razširjeni, ostaja razumevanje, kako se LLM-i vedejo in prilagajajo v okviru družbenih grafov, večinoma neraziskano, zlasti v dinamičnih, procesno zasnovanih kontekstih, ki jih preučuje omrežna znanost. Obstoječe raziskave o procesih difuzije in vpliva pogosto temeljijo na pretirano poenostavljenih, enodimenzionalnih modelih vedenja uporabnikov ter zanemarjajo bogato družbeno in jezikovno dinamiko realnih interakcij. V tej magistrski nalogi predstavljamo novo ogrodje za družbeno ozaveščeno poravnavo (ang. socially aware alignment) velikih jezikovnih modelov, ki združuje jezikovno modeliranje z dinamiko širjenja informacij v omrežjih. Najprej analiziramo vdelani prostor družbenih dimenzij in pokažemo, da so dimenzije, kot so zaupanje, konflikt in podpora, zmerno korelirane, nato pa prostor razširimo z dodatnimi klasifikatorji za zaznavanje stališč. Na tej osnovi predlagamo posplošitev binarnega kaskadnega modela (BCM), ki vključuje večdimenzionalne, družbeno utemeljene predstavitve uporabnikov. Za učinkovito optimizacijo razvijemo formulacijo nagrade, ki izkorišča strukturo aktivnega nabora med širjenjem, kar omogoča skalabilno učenje. Celoten postopek spodbujevanega učenja uporablja metodo PPO (Proximal Policy Optimization), s katero poravnamo generativno vedenje velikega jezikovnmega modela z družbenim kontekstom omrežja. Ogrodje je temeljito ovrednoteno tako na sintetičnih grafih, ustvarjenih z nadzorovanimi značilnostmi in strukturami skupnosti, kot tudi na dejanskih podatkih iz Twitter($X$) razprave o Brexitu. Rezultati kažejo, da predlagana metoda poravnave uspešno modelira realistične dinamike širjenja informacij, obenem pa razkriva notranje pristranskosti velikih jezikovnih modelov do določenih stališč in nestabilnosti v močno polariziranih okoljih. Ugotovitve imajo dvojne posledice: s tehničnega vidika pristop predstavlja napredek na področju socialno informirane poravnave jezikovnih modelov za aplikacije, kot so javno komuniciranje in informacijske kampanje; z etičnega vidika pa opozarjaja na tveganje o morebitni zlorabi za manipulacijo z javnim mnenjem. Nadaljnje delo se bo osredotočilo na izboljšanje stabilnosti metode PPO, povečanje predvidljivosti nagrade in raziskovanje večjih arhitektur velikh jezikovnih modelov za doseganje robustnejšega družbeno poravnanega vedenja.

• Ključne besede: Umetna inteligenca, Veliki jezikovni modeli, Spodbujevano učenje, Usklajevanje, Grafi