20.500.12556/RUL-186441 Metoda za vrednotenje učinka uvedbe RAG za ekstrakcijo znanja iz prodajnih interakcij A Method for Evaluating the Impact of Adopting RAG for Knowledge Extraction from Sales Interactions Številna sodobna podjetja zbirajo večje količine podatkov iz prodajnih interakcij, kot so transkripti klicev, elektronska sporočila in zapisniki sestankov. Tovrstne zbirke podatkov imajo velik potencial za pridobivanje vpogledov, s pomočjo katerih se lahko izboljša poslovanje podjetja. Ker je razumevanje uvajanja pristopa z iskanjem podprtega generiranja (angl. RAG) za ekstrakcijo znanja v produkcijska okolja še omejeno, v diplomskem delu razvijemo metodo za vrednotenje učinka uvedbe orodja za pogovorno analitiko, ki temelji na RAG in poslovnim uporabnikom omogoča poizvedovanje po vsebini preteklih interakcij s strankami v naravnem jeziku. Metoda je zasnovana neodvisno od izbrane tehnološke platforme. Učinek ocenimo kvantitativno preko vprašalnika, ki temelji na modelu sprejemanja tehnologije (angl. TAM ) in ga deležnikom zastavimo pred in po implementaciji pristopa RAG za pogovorno analitiko. Kvalitativno ga ocenimo preko intervjujev s ključnimi deležniki po izvedbi implementacije. Razvito metodo preizkusimo s tipično študijo primera. Rezultati pokažejo statistično značilne izboljšave pri nekaterih dejavnikih modela TAM, ostali dejavniki pa ostanejo nespremenjeni in se ne poslabšajo. Kvalitativni in kvantitativni rezultati se med sabo potrjujejo. Diplomsko delo prispeva k vrednotenju uvedbe pristopa RAG v industrijskih aplikacijah pogovorne analitike. Numerous modern companies collect significant quantities of client-interaction data, such as call transcripts, e-mails, and meeting notes. Such data collections hold a large potential for generating data insights that can help the company run its business. Because the understanding of adopting the Retrieval-Augmented Generation (RAG) approach for knowledge extraction in production environments is still limited, in this thesis we develop a method for evaluating the impact of introducing a conversational analytics tool that is based on RAG and enables business users to query the content of past client interactions in natural language. The method is designed to work independently of the chosen technological platform. We evaluate the impact quantitatively through a questionnaire based on the Technology Acceptance Model (TAM), administered to the stakeholders before and after implementing RAG for conversational analytics in the organization. We also evaluate the impact qualitatively through the interviews with the key stakeholders conducted after the implementation. To test the developed method, we perform a typical case study. The results show statistically significant improvements in certain variables of TAM, while the remaining ones remain unchanged and do not deteriorate. The qualitative and quantitative results corroborate each other. This thesis contributes to the evaluation of RAG adoption in industrial conversational analytics applications. pogovorna analitika z iskanjem podprto generiranje (angl. RAG) model sprejemanja tehnologije (angl. TAM) conversational analytics Retrieval-Augmented Generation (RAG) Technology Acceptance Model (TAM) true false false Slovenski jezik Angleški jezik Diplomsko delo/naloga 2026-09-01 15:50:09 2026-09-01 15:50:23 2026-09-04 09:07:14 0000-00-00 00:00:00 2026 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 38683 289992451 Blaz_rolih_Ana_-_Metoda_za_vrednotenje_ucinka_uvedbe_RAG_za_ekstrakcijo_znanja_iz_prodajnih_inte.pdf Blaz_rolih_Ana_-_Metoda_za_vrednotenje_ucinka_uvedbe_RAG_za_ekstrakcijo_znanja_iz_prodajnih_inte.pdf 1 C038D49CC7CE884B9CDB655BDCEFA91D 7fa74b8e0fdcbc462b026875699451d2afc6c45ee5cc4117c7afe453cec60bf7 a72da46b-a60b-11f1-9b0d-0050569b8976 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=245698 Fakulteta za računalništvo in informatiko 0 0 0