20.500.12556/RUL-175561 Parameter-Efficient Tuning of Large Language Models on Mobile Devices Učinkovito prilagajanje velikih jezikovnih modelov na mobilnih napravah Large Language Models (LLM) have undergone massive advancements in both scale and task capabilities, yet personalization and fine-tuning of such models on a user's personal device (e.g. their smartphone) remains largely unexplored due to the computational and memory demands. While parameter-efficient fine-tuning (PEFT) offers a promising solution, current frameworks for on-device PEFT rely on emulated environments or provide limited functionality. In this work, we present ORTransformersMobile, a novel end-to-end framework enabling LLM fine-tuning and optimized inference from newly trained weights completely within the native Android operating system and mobile hardware. We develop MARS (Multi-Adapter Rank Sharing) through an ablation study, evaluating and comparing it against 288 other PEFT configurations, showing comparable or better benchmark performance even at lower ranks and with quantized weights, making it effective in resource-constrained environments. Our approach accelerates on-device fine-tuning (7 % speedup) and reduces memory usage compared to the most popular PEFT method - LoRA. Combining ORTransformersMobile and MARS, we train generative models fully on-device, enabling personalized downstream tasks from private user data on a mobile device. Veliki jezikovni modeli (LLM) so v zadnjem času dosegli izjemen napredek tako v obsegu kot tudi v zmožnostih opravljanja različnih nalog. Kljub temu pa personalizacija in prilagajanje takih modelov neposredno na uporabnikovi napravi (npr. pametnem telefonu) ostajata večinoma nepreučeni zaradi visokih zahtev glede računske moči in pomnilnika. Čeprav parametrično učinkovito prilagajanje (PEFT) ponuja obetavno rešitev, obstoječa ogrodja za PEFT na mobilnih napravah temeljijo na emuliranih okoljih ali nudijo omejeno funkcionalnost. V tem delu predstavljamo ORTransformersMobile, novo celovito ogrodje, ki omogoča prilagajanje LLM-ov in optimizirano generiranje besedil z novo naučenimi utežmi popolnoma znotraj operacijskega sistema Android in mobilne strojne opreme. Prav tako skozi študijo razvijemo metodo MARS (Multi-Adapter Rank Sharing) in jo ovrednotimo ter primerjamo s 288 drugimi PEFT konfiguracijami. Pri tem dosežemo primerljivo ali boljšo zmogljivost tudi pri nižjih rangih in kvantiziranih utežeh, zaradi česar je učinkovita v okoljih z omejenimi viri. Naš pristop pospeši prilagajanje na napravi (za 7 %) in zmanjša porabo pomnilnika v primerjavi z najbolj priljubljeno PEFT metodo - LoRA. S kombinacijo ORTransformersMobile in MARS lahko generativne modele popolnoma prilagodimo neposredno na napravi, kar omogoča izvajanje personaliziranih nalog iz zasebnih uporabniških podatkov na mobilni napravi. large language models deep learning natural language processing mobile computing parameter efficient fine-tuning veliki jezikovni modeli globoko učenje obdelava naravnega jezika mobilno računalništvo parametrično učinkovito prilagajanje true false false Angleški jezik Slovenski jezik Magistrsko delo/naloga 2025-11-04 11:55:09 2025-11-04 11:55:24 2025-12-12 03:48:22 0000-00-00 00:00:00 2025 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 37771 257369091 Korelic_Martin_-_Ucinkovito_prilagajanje_velikih_jezikovnih_modelov_na_mobilnih_napravah.pdf Korelic_Martin_-_Ucinkovito_prilagajanje_velikih_jezikovnih_modelov_na_mobilnih_napravah.pdf 1 748F3D698BEB28281163D6B47E76AEE2 b2ec83fef5df207108ea93ae7cb819dd8eb2cad17a3feb659d4f7996450b813d 745dfe62-b96c-11f0-9328-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=221317 Fakulteta za računalništvo in informatiko 0 0 0