20.500.12556/RUL-158958 S poizvedovanjem obogateno dopolnjevanje programske kode za lokalne projekte z velikimi jezikovnimi modeli magistrsko delo Retrieval-augmented code completion for local projects using large language models Programiranje s pomočjo velikih jezikovnih modelov postaja vse bolj razširjeno. Pojavljajo se pomisleki glede zasebnosti kode pri uporabi komercialnih rešitev. Težava je tudi vse močnejša strojna oprema, potrebna za izvajanje velikih modelov. V delu se zato osredotočimo na uporabo modelov velikosti 160 milijonov parametrov, ki so primerni za lokalno izvajanje, in jih obogatimo z uporabo poizvedovanja iz lokalnih projektov. Na odprtokodnih Python datotekah učimo modela GPT-2 in RETRO, ju eksperimentalno primerjamo in potrdimo korist poizvedovanja na podlagi vektorskih vložitev. Uspešnost modelov izboljšamo s kontekstnim poizvedovanjem, ki primerne kontekste izbere na podlagi Jaccardovega koeficienta podobnosti žetonov. Doprinos kontekstnega poizvedovanja preverimo na večjih modelih in ugotovimo, da je pristop kljub enostavnosti koristnejši od arhitekture RETRO. Izpostavimo tudi ključno vlogo primerne tokenizacije za doseganje dobrih rezultatov velikih jezikovnih modelov. The use of large language models is becoming increasingly widespread among developers. However, privacy and computational requirements are problematic with commercial solutions and the use of large models. In this work, we focus on using large language models with 160 million parameters that are suitable for local execution and augmentation with retrieval from local projects. We train GPT-2 and RETRO models on open-source Python files, experimentally compare them and confirm the benefits of vector embedding based retrieval. Additionally, we improve our models' performance with in-context retrieval, which retrieves the context based on the Jaccard similarity of tokens. We further evaluate in-context retrieval on larger models and conclude that, despite its simplicity, the approach is better than using the RETRO architecture. We highlight the key role of proper tokenization in achieving the full potential of large language models. veliki jezikovni modeli dopolnjevanje kode s poizvedovanjem obogateno dopolnjevanje kontekstno poizvedovanje large language models code completion retrieval-augmented generation in-context retrieval true false false Slovenski jezik Angleški jezik Magistrsko delo/naloga 2024-06-23 08:15:07 2024-06-23 08:15:11 2024-07-07 03:19:35 0000-00-00 00:00:00 2024 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 004.42 139849 200036099 12100.pdf 12100.pdf 1 3CECA9D8B05BF4E03E75046B29E2A1B0 155ec577bbaf2f92355d7ff04b4ab62137ad080debbe5344c152a73702a4aabf f281b32e-3127-11ef-8779-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=186689 Fakulteta za matematiko in fiziko 0 0 0