Razvoj rešitev umetne inteligence za podjetja z velikimi jezikovnimi modeli in bazami znanja

Gabrovšek, Gregor (avtor), Jurič, Branko Matjaž (mentor)

Magistrsko delo obravnava uporabo velikih jezikovnih modelov v poslovnih okoljih ter predlaga arhitekturo sistema za upravljanje znanja, ki z generiranjem, obogatenim z iskanjem (RAG), omejuje nezanesljive odgovore in izkorišča nestrukturirane interne podatke. Sistem samodejno zajema podatke iz dokumentnih sistemov in komunikacijskih platform ter jih pretvarja v atomarna dejstva in dele dokumentov. Vsebino in metapodatke hrani v relacijski podatkovni bazi, njihove vektorske vložitve pa v ločenih zbirkah vektorske podatkovne baze. Pri prilagodljivem pridobivanju glede na vrsto vprašanja najprej izbere atomarna dejstva ali dele dokumentov, po potrebi pa pridobi še kontekst iz druge zbirke. Pilotno implementacijo smo preverili na sintetičnem korpusu z 32 izvornimi dokumenti, razdeljenimi v štiri časovno zaporedne faze. Sistem je dokumente razdelil na 61 delov in iz njih izluščil 420 atomarnih dejstev. Slepo ročno ovrednotenje je zajelo 64 vprašanj in po en odgovor vsake od štirih strategij pridobivanja ter kontrole brez RAG, skupaj 320 odgovorov. Prilagodljivo pridobivanje, pri katerem agent izbira med dejstvi in deli dokumentov, je doseglo najvišji opaženi skupni rezultat (5,83 od 6,0) in v eni izvedbi merjenja najnižjo mediano pretečenega časa zahteve med strategijami RAG, vendar primerjava ni povsem ločila učinka strategije pridobivanja od razlik v ubeseditvi navodil, pri primarnih merilih pa nismo potrdili statistično značilnih razlik med štirimi strategijami RAG. Pregled vzorca 50 aktivnih dejstev je pokazal visok delež najvišjih ocen atomarnosti, samostojnosti in zvestobe viru, vse tri nadomestitve v končni zbirki pa so bile vsebinsko upravičene. Rezultati podpirajo tehnično izvedljivost v sintetičnem pilotu ter kažejo možen kompromis med kakovostjo, pretečenim časom zahteve in porabo žetonov, za sklep o prednosti, skalabilnosti, varnosti ali produkcijski pripravljenosti pa so potrebni širši in ponovljeni preizkusi.

• Jezik: Slovenski jezik
• Ključne besede: umetna inteligenca, veliki jezikovni modeli, baza znanja, generiranje, obogateno z iskanjem
• Vrsta gradiva: Magistrsko delo/naloga
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2026
• PID: 20.500.12556/RUL-189416
• Datum objave v RUL: 06.10.2026

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Developing AI Enterprise Solutions using Large Language Models and Knowledge Bases

Izvleček

This master's thesis examines large language models (LLMs) in business environments and proposes a knowledge management architecture that uses Retrieval-Augmented Generation (RAG) to limit unreliable answers and exploit unstructured internal data. The system ingests data from document systems and communication platforms and transforms it into atomic facts and text chunks. It stores content and metadata in a relational database and their vector embeddings in separate vector-database collections. In adaptive retrieval, it first selects atomic facts or text chunks according to the type of question and, if necessary, retrieves additional context from the other collection. We evaluated the pilot implementation on a synthetic corpus comprising 32 source documents organized into four chronological phases. The system divided the documents into 61 text chunks and extracted 420 atomic facts from them. The manual evaluation, blinded to strategy labels, covered 64 questions with one answer from each of four retrieval strategies and a no-RAG control, for 320 answers in total. Adaptive sequential retrieval, in which the agent chooses between facts and chunks, achieved the highest observed total score (5.83 out of 6.0) and, in one measurement run, the lowest median request elapsed time among the RAG strategies. The comparison did not fully separate the effect of retrieval strategy from differences in prompt wording, and the primary tests found no statistically significant differences between the four RAG strategies. A review of 50 active facts found high proportions of top ratings for atomicity, self-containment, and source fidelity, while all three supersessions in the final collection were substantively justified. The results support technical feasibility in the synthetic pilot and indicate a possible trade-off among quality, elapsed time, and token usage, but broader repeated tests are needed before claiming superiority, scalability, security, or production readiness.

• Ključne besede: artificial intelligence, large language models, knowledge base, retrieval-augmented generation