20.500.12556/RUL-169018 Zaznavanje zavajanja v kliničnih raziskavah z velikimi jezikovnimi modeli Detecting spin in clinical trials with large language models Zavajanje v raziskovalnih poročilih zajema prakse poročanja, ki izkrivljeno predstavijo rezultate. Posebej kritično je področje medicine, kjer je zavajanje prisotno pri več kot 50% randomiziranih kontroliranih raziskav (RCT), ki ne dosežejo praga statistične značilnosti. Primerjava napovedanega in poročanega izida je ključnega pomena za zaznavanje več vrst zavajanja, kot je npr. selektivno poročanje. Izdelali smo sistem za strojno zaznavanje zavajanja v kliničnih raziskavah. Uporabili smo 300 parov izidov, označenih s semantično podobnostjo. Preizkusili smo statistične modele, maskirne jezikovne modele (MLM) in generativne velike jezikovne modele (LLM). Generirali smo ocene podobnosti in uporabili Youdenov indeks za določanje praga klasifikacije. Predlagan pristop k primerjavi izidov z LLM zajema oblikovanje ukaznega poziva, generiranje ocen podobnosti na podlagi verjetnosti žetonov in večinsko glasovanje. Rezultati na testni množici 2500 primerov so s točnostjo 90% in F1 vrednostjo 78% boljši od namenskih modelov za ocenjevanje semantične podobnosti stavkov, vendar zaostajajo za prilagojenimi različicami modela BERT. Prednost našega pristopa je sposobnost generiranja razlag za klasificirane primere. Spin in research reports includes reporting practices that distort the presentation of results. This is particularly critical in medicine, where spin is present in more than 50% of randomized controlled trials (RCT) that fail to reach the threshold of statistical significance. Comparing declared and reported outcomes is crucial for detecting various types of spin, such as selective reporting. We developed a system for automatic detection of spin in clinical trials. We used 300 pairs of outcomes, labeled with semantic similarity. We evaluated baseline statistical models, masked language models (MLM) and generative large language models (LLM). We generated similarity scores and used Youden index to determine the classification threshold. The proposed approach to comparing outcomes using LLMs involves prompt engineering, generating similarity scores based on token probabilities and majority voting. The results on the test set of 2500 examples, with 90% accuracy and F1 score of 78%, outperform dedicated models for semantic similarity evaluation, but trail behind fine-tuned versions of BERT model. An advantage of our approach is the ability to generate explanations for the classified examples. zavajanje veliki jezikovni modeli klinične raziskave obdelava naravnega jezika podobnost stavkov spin large language models clinical trials natural language processing sentence similarity true false false Slovenski jezik Angleški jezik Diplomsko delo/naloga 2025-05-07 14:50:02 2025-05-07 14:50:11 2025-05-16 09:24:35 0000-00-00 00:00:00 2025 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 37961 236113411 Ajdovec_Tjas_-_Zaznavanje_zavajanja_v_klinicnih_raziskavah_z_velikimi_jezikovnimi_modeli.pdf Ajdovec_Tjas_-_Zaznavanje_zavajanja_v_klinicnih_raziskavah_z_velikimi_jezikovnimi_modeli.pdf 1 23743CE8AB5FF34752174E8813241F9F ff4dd4fff85270549c7b6036a58267295fc0f1dccdfd48869d51a0afac7ba7d1 9e967684-2b40-11f0-b232-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=210133 Fakulteta za računalništvo in informatiko 0 0 0