Stance detection through large language models: validation and prototypical analysis in the German-speaking r/de Subreddit : master's thesis

Wöstmann, Felix Georg (author), Škulj, Damjan (mentor)

This thesis investigates the efficacy of large language models (LLMs) for stance detection in German-language Reddit communities and explores their application in online public opinion research. The thesis evaluates various LLMs and prompting techniques on a custom-annotated dataset from the r/de subreddit. Experimental results demonstrate that commercial LLMs like Claude 3.5 Sonnet can perform stance detection on German Reddit comments with high accuracy (F1 scores >0.8) without fine-tuning. Open-source models also show promising results. Few-shot prompting with chain-of-thought reasoning consistently outperformed zero-shot approaches, while additional context harms performance across models. The thesis then applies the developed methodology prototypically to analyse public opinion trends regarding German military aid to Ukraine. Some correlation is observed between Reddit sentiment and broader public opinion polls, suggesting potential for using LLM-based stance detection on social media as a complementary tool to traditional polling methods. Limitations include the focus on a single subreddit and topic and reliance on a small manually-annotated dataset. Future research directions involve expanding to multiple communities and languages, investigating fine-tuning techniques, conducting longitudinal studies, and enhancing explainability.

• Language: English
• Keywords: stance detection, large language models, Reddit, german, public opinion analysis
• Work type: Master's thesis/paper
• Typology: 2.09 - Master's Thesis
• Organization: FDV - Faculty of Social Sciences
• Place of publishing: Ljubljana
• Publisher: F. G. Wöstmann
• Year: 2025
• Number of pages: 1 spletni vir (1 datoteka PDF (113 str.))
• PID: 20.500.12556/RUL-174451
• UDC: 004.89:316.653(043.2)
• COBISS.SI-ID: 257304579
• Publication date in RUL: 02.10.2025

Secondary language

• Language: Slovenian
• Title: Zaznavanje stališč s pomočjo velikih jezikovnih modelov: validacija in prototipska analiza v nemško-govorečem subredditu r/de : magistrsko delo

Abstract

Ta magistrska naloga preučuje učinkovitost velikih jezikovnih modelov (LLM) za prepoznavanje stališč v nemško govorečih skupnostih na Redditu in raziskuje njihovo uporabo pri spletnem raziskovanju javnega mnenja. Magistrska naloga ocenjuje različne LLM-je in tehnike načrtovanja pozivov na ročno označenem naboru podatkov iz subreddita r/de. Eksperimentalni rezultati kažejo, da lahko komercialni LLM-ji, kot je Claude 3.5 Sonnet, izvajajo prepoznavanje stališč v nemških komentarjih na Redditu z visoko natančnostjo (ocene F1 >0,8) brez finega uglaševanja. Tudi odprtokodni modeli kažejo obetavne rezultate. Načrtovanje pozivov z majhnim številom učnih primerov in verižnim sklepanjem je dosledno presegalo pristope brez primerov, medtem ko dodaten kontekst zmanjšuje učinkovitost pri vseh modelih. Magistrska naloga nato prototipsko uporabi razvito metodologijo za analizo trendov javnega mnenja glede nemške vojaške pomoči Ukrajini. Opaziti je nekaj povezanosti med sentimentom na Redditu in širšimi anketami javnega mnenja, kar nakazuje potencial za uporabo prepoznavanja stališč na podlagi LLM-jev na družbenih omrežjih kot dopolnilno orodje tradicionalnim anketnim metodam. Omejitve vključujejo osredotočenost na en sam subreddit in eno samo temo ter zanašanje na majhen ročno označen nabor podatkov. Prihodnje raziskovalne smeri vključujejo širitev na več skupnosti in jezikov, preučevanje tehnik finega uglaševanja, izvajanje longitudinalnih študij in izboljšanje razložljivosti.

• Keywords: prepoznavanje stališč, veliki jezikovni modeli, Reddit, nemščina, analiza javnega mnenja