Aplikacija za poganjanje jezikovnih modelov na mobilnih napravahHribar, Samo (Avtor) Pesek, Matevž (Mentor) Androidtransformerjezikovni modelprepoznava govoraaplikacijaPredstavljen je postopek izdelave aplikacije za mobilni operacijski sistem Android, ki omogoča poganjanje modelov nevronskih mrež z arhitekturo transformer. Vse procesiranje se odvija lokalno, kar omogoča večjo varnost naših podatkov in neodvisnost od internetne povezave. Aplikacija je testirana z modeloma Whisper za transkripcijo govora in Phi-2 za obdelavo naravnega jezika. Praktični del obsega izgradnjo aplikacije za Android z ogrodjem Jetpack Compose in vključevanje obstoječih C++ knjižnic s spletišča GitHub. Te omogočajo poganjanje umetnointeligenčnih modelov, ki sem jih natreniral v okviru te diplomske naloge. Gre za trening STT modela Whisper-Small in LLM Phi-2 s končnim ciljem razumeti slovenski jezik. Obsega tudi pripravo učne množice ARTUR1.0 s transkripcijami zvočnih posnetkov, prevajanje učne množice OASST1 in uporabo učnih podatkov za učenje modelov. Omenjena modela sta v aplikaciji pognana s pomočjo knjižnic whisper.cpp in llama.cpp . V končni verziji aplikacije lahko izrečemo vprašanje in posneti zvok se preda v obdelavo modelu Whisper, ki iz njega ustvari besedilo. Alternativno lahko svoje vprašanje tudi natipkamo v za to vnaprej določeno polje. Ob kliku na gumb "pošlji" aplikacija vnešeno besedilo preda jezikovnemu modelu. Ta ga obdela in zatem začne ustvarjati odgovor, besedo po besedo, podobno kot vidimo v ostalih spletnih storitvah. Generirano besedilo se pojavi kot odgovor sistema pod našim vprašanjem. Modele sem evalviral s testnimi množicami in jih primerjal z obstoječimi spletnimi rešitvami. Proces transkripcije govora sem natančenje primerjal z aplikacijo Govori.si. Vnos besedila s pomočjo govora predstavlja varno alternativo tipkanju v situacijah, ki od nas zahtevajo pozornost na okolico. Vnešeno besedilo obdela LLM Phi-2, ki sem ga primerjal z verjetno najbolj znanim LLM-om ChatGPT, pa tudi z odprtokodnim Mistralom. Odgovarjanje sem meril na svojem lastnem telefonu, Poco F3. Transkripcija govora je relativno počasna glede na spletno-povezljive rešitve, prav tako čas do generiranja prvega zloga v odgovoru. Nadaljnji zlogi so generirani hitreje, s hitrostjo okoli 2,6 zloga/s.20242024-11-13 10:19:15Diplomsko delo/naloga164816VisID: 37235COBISS_ID: 207639043sl