20.500.12556/RUL-174451 Stance detection through large language models: validation and prototypical analysis in the German-speaking r/de Subreddit master's thesis Zaznavanje stališč s pomočjo velikih jezikovnih modelov: validacija in prototipska analiza v nemško-govorečem subredditu r/de magistrsko delo This thesis investigates the efficacy of large language models (LLMs) for stance detection in German-language Reddit communities and explores their application in online public opinion research. The thesis evaluates various LLMs and prompting techniques on a custom-annotated dataset from the r/de subreddit. Experimental results demonstrate that commercial LLMs like Claude 3.5 Sonnet can perform stance detection on German Reddit comments with high accuracy (F1 scores >0.8) without fine-tuning. Open-source models also show promising results. Few-shot prompting with chain-of-thought reasoning consistently outperformed zero-shot approaches, while additional context harms performance across models. The thesis then applies the developed methodology prototypically to analyse public opinion trends regarding German military aid to Ukraine. Some correlation is observed between Reddit sentiment and broader public opinion polls, suggesting potential for using LLM-based stance detection on social media as a complementary tool to traditional polling methods. Limitations include the focus on a single subreddit and topic and reliance on a small manually-annotated dataset. Future research directions involve expanding to multiple communities and languages, investigating fine-tuning techniques, conducting longitudinal studies, and enhancing explainability. Ta magistrska naloga preučuje učinkovitost velikih jezikovnih modelov (LLM) za prepoznavanje stališč v nemško govorečih skupnostih na Redditu in raziskuje njihovo uporabo pri spletnem raziskovanju javnega mnenja. Magistrska naloga ocenjuje različne LLM-je in tehnike načrtovanja pozivov na ročno označenem naboru podatkov iz subreddita r/de. Eksperimentalni rezultati kažejo, da lahko komercialni LLM-ji, kot je Claude 3.5 Sonnet, izvajajo prepoznavanje stališč v nemških komentarjih na Redditu z visoko natančnostjo (ocene F1 >0,8) brez finega uglaševanja. Tudi odprtokodni modeli kažejo obetavne rezultate. Načrtovanje pozivov z majhnim številom učnih primerov in verižnim sklepanjem je dosledno presegalo pristope brez primerov, medtem ko dodaten kontekst zmanjšuje učinkovitost pri vseh modelih. Magistrska naloga nato prototipsko uporabi razvito metodologijo za analizo trendov javnega mnenja glede nemške vojaške pomoči Ukrajini. Opaziti je nekaj povezanosti med sentimentom na Redditu in širšimi anketami javnega mnenja, kar nakazuje potencial za uporabo prepoznavanja stališč na podlagi LLM-jev na družbenih omrežjih kot dopolnilno orodje tradicionalnim anketnim metodam. Omejitve vključujejo osredotočenost na en sam subreddit in eno samo temo ter zanašanje na majhen ročno označen nabor podatkov. Prihodnje raziskovalne smeri vključujejo širitev na več skupnosti in jezikov, preučevanje tehnik finega uglaševanja, izvajanje longitudinalnih študij in izboljšanje razložljivosti. stance detection large language models Reddit german public opinion analysis prepoznavanje stališč veliki jezikovni modeli Reddit nemščina analiza javnega mnenja true true false F. G. Wöstmann Angleški jezik Slovenski jezik Magistrsko delo/naloga 2025-10-02 17:31:00 2025-10-02 17:31:10 2025-11-14 15:52:10 0000-00-00 00:00:00 2025 0 Ljubljana 0 Ljubljana 1 spletni vir (1 datoteka PDF (113 str.)) 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.89:316.653(043.2) 182050 257304579 23324.pdf 23324.pdf 1 E587D7D9870146B455A24CE5CE84199A f530434a51a0829534443ee564e266812b078710f3fa40457f54bf61cdf624ff 9ea381f4-9fa4-11f0-9328-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=219265 Fakulteta za družbene vede 0 0 0