Analysis of the Capabilities of Large Language Models for Mental Health Inference from Mobile Sensor Data

Kirovska, Ilina (author), Pejović, Veljko (mentor)

Depression is a widespread mental health disorder, yet current screening and diagnostic practices rely heavily on self-reporting and clinical assessments, which are often subjective and resource-intensive. Passive mobile sensing offers unobtrusive and continuous monitoring of behavioural patterns associated with mental health, but existing approaches heavily utilise traditional machine learning approaches. At the same time, large language models~(LLMs) are increasingly used across various domains. However, their application for mental health inference from structured numerical data remains unexplored. This thesis investigates the capabilities of LLMs for depression inference from mobile sensor data. We conduct a comprehensive analysis across two datasets and two task formulations: 14-day history depression prediction and prediction of changes in depression levels. We also evaluate two small LLMs, GPT-4o mini and GPT-4.1 mini, to enable privacy-preserving on-device inference. Moreover, we compare different prompting strategies to established baselines. With peak average F1-scores of 45.6\% and 24.8\% for the first and second tasks, respectively, our findings show that off-the-shelf small LLMs are not able to reliably detect depression. Nevertheless, this work represents the first systematic evaluation of LLMs for mobile sensing–based depression inference, providing valuable insights into their current limitations and outlining pathways toward future privacy-preserving, on-device applications.

• Language: English
• Keywords: Large Language Models, Mobile sensing, Depression inference
• Work type: Master's thesis/paper
• Typology: 2.09 - Master's Thesis
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2025
• PID: 20.500.12556/RUL-173858
• COBISS.SI-ID: 254227459
• Publication date in RUL: 24.09.2025

Secondary language

• Language: Slovenian
• Title: Analiza zmožnosti velikih jezikovnih modelov za sklepanje o duševnem zdravju iz senzorskih podatkov mobilnih naprav

Abstract

Depresija je razširjena duševna motnja, vendar se obstoječe presejalne in diagnostične prakse močno zanašajo na samoocenjevanje in klinične preglede, ki so pogosto subjektivni in zahtevni glede virov. Pasivno mobilno zaznavanje omogoča nevsiljivo in neprekinjeno spremljanje vedenjskih vzorcev, povezanih z duševnim zdravjem, vendar obstoječi pristopi večinoma uporabljajo tradicionalne metode strojnega učenja. Hkrati se veliki jezikovni modeli (LLM-ji) vse bolj uporabljajo na različnih področjih. Njihova uporaba za sklepanje o duševnem zdravju iz strukturiranih numeričnih podatkov pa ostaja neraziskana. Ta magistrska naloga je raziskala zmožnosti LLM-jev za sklepanje o depresiji iz podatkov, zbranih s senzorji mobilnih naprav. Izvedli smo celovito analizo na dveh podatkovnih naborih in dveh formulacijah nalog: napoved depresije na podlagi 14-dnevne zgodovine in napoved sprememb ravni depresije. Poleg tega smo ovrednotili dva manjša LLM-ja, GPT-4o mini in GPT-4.1 mini, z namenom omogočanja sklepanja, ki ohranja zasebnost, neposredno na napravi. Prav tako smo primerjali različne strategije pozivanja z uveljavljenimi osnovnimi modeli. Z doseženimi povprečnimi F1-ocenami do 45,6\% pri prvi nalogi in 24,8\% pri drugi nalogi naše ugotovitve kažejo, da majhni LLM-ji še ne morejo zanesljivo zaznati depresije. Kljub temu pa to delo predstavlja prvo sistematično evalvacijo LLM-jev za sklepanje o depresiji na podlagi mobilnega zaznavanja, ki ponuja dragocene vpoglede v njihove trenutne omejitve ter nakazuje poti k prihodnjim aplikacijam, ki ohranjajo zasebnost in so izvedljive neposredno na napravi.

• Keywords: Veliki jezikovni modeli, Mobilno zaznavanje, Napovedovanje depresije