Parameter-Efficient Tuning of Large Language Models on Mobile Devices

Korelič, Martin (avtor), Pejović, Veljko (mentor)

Large Language Models (LLM) have undergone massive advancements in both scale and task capabilities, yet personalization and fine-tuning of such models on a user's personal device (e.g. their smartphone) remains largely unexplored due to the computational and memory demands. While parameter-efficient fine-tuning (PEFT) offers a promising solution, current frameworks for on-device PEFT rely on emulated environments or provide limited functionality. In this work, we present ORTransformersMobile, a novel end-to-end framework enabling LLM fine-tuning and optimized inference from newly trained weights completely within the native Android operating system and mobile hardware. We develop MARS (Multi-Adapter Rank Sharing) through an ablation study, evaluating and comparing it against 288 other PEFT configurations, showing comparable or better benchmark performance even at lower ranks and with quantized weights, making it effective in resource-constrained environments. Our approach accelerates on-device fine-tuning (7 % speedup) and reduces memory usage compared to the most popular PEFT method - LoRA. Combining ORTransformersMobile and MARS, we train generative models fully on-device, enabling personalized downstream tasks from private user data on a mobile device.

• Jezik: Angleški jezik
• Ključne besede: large language models, deep learning, natural language processing, mobile computing, parameter efficient fine-tuning
• Vrsta gradiva: Magistrsko delo/naloga
• Tipologija: 2.09 - Magistrsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2025
• PID: 20.500.12556/RUL-175561
• COBISS.SI-ID: 257369091
• Datum objave v RUL: 04.11.2025

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Učinkovito prilagajanje velikih jezikovnih modelov na mobilnih napravah

Izvleček

Veliki jezikovni modeli (LLM) so v zadnjem času dosegli izjemen napredek tako v obsegu kot tudi v zmožnostih opravljanja različnih nalog. Kljub temu pa personalizacija in prilagajanje takih modelov neposredno na uporabnikovi napravi (npr. pametnem telefonu) ostajata večinoma nepreučeni zaradi visokih zahtev glede računske moči in pomnilnika. Čeprav parametrično učinkovito prilagajanje (PEFT) ponuja obetavno rešitev, obstoječa ogrodja za PEFT na mobilnih napravah temeljijo na emuliranih okoljih ali nudijo omejeno funkcionalnost. V tem delu predstavljamo ORTransformersMobile, novo celovito ogrodje, ki omogoča prilagajanje LLM-ov in optimizirano generiranje besedil z novo naučenimi utežmi popolnoma znotraj operacijskega sistema Android in mobilne strojne opreme. Prav tako skozi študijo razvijemo metodo MARS (Multi-Adapter Rank Sharing) in jo ovrednotimo ter primerjamo s 288 drugimi PEFT konfiguracijami. Pri tem dosežemo primerljivo ali boljšo zmogljivost tudi pri nižjih rangih in kvantiziranih utežeh, zaradi česar je učinkovita v okoljih z omejenimi viri. Naš pristop pospeši prilagajanje na napravi (za 7 %) in zmanjša porabo pomnilnika v primerjavi z najbolj priljubljeno PEFT metodo - LoRA. S kombinacijo ORTransformersMobile in MARS lahko generativne modele popolnoma prilagodimo neposredno na napravi, kar omogoča izvajanje personaliziranih nalog iz zasebnih uporabniških podatkov na mobilni napravi.

• Ključne besede: veliki jezikovni modeli, globoko učenje, obdelava naravnega jezika, mobilno računalništvo, parametrično učinkovito prilagajanje