Retrieval-augmented text generation with domain-specific large language models fine-tuning

Ivanovski, Marko (avtor), Žitnik, Slavko (mentor)

Developing an automated question-answering system to streamline customer support email handling presents an effective solution to reduce manual response times and effort. Currently, support agents respond to emails manually, which is time-consuming and labor-intensive. We tested several configurations to build a system capable of automatically answering these emails. The data used was provided by Zebra BI and consisted of a structured corpus of support emails and an unstructured corpus derived from product documentation. We compared two main approaches for tackling such problems. The first one fine-tuned a Large Language Model to answer emails directly. This approach contained a generator component only. The second one utilized the Retrieval-Augmented Generation (RAG) architecture which contained both the retriever and generator. The retriever, retrieved similar emails and append them to the context of an off-the-shelf LLM tasked with answering the question given the context from the previous similar emails. For the latter, we implemented a custom dual-decoder retriever model using the LoRA training technique and quantization. The dual-decoder retriever model generated embeddings for both the email and email answer passages using separate decoders and ranked them based on the cosine similarity. We developed six different question-answering system configurations. Some configurations utilized both the retriever and generator component, while others had only the generator. The best-performing configuration featured our custom dual-decoder retriever model, which improved the system's ability to retrieve relevant information from the domain-specific email corpus. This also showed that training a retriever model and utilizing the RAG architecture is more effective in comparison to fine-tuning an LLM, in cases where there is lower amount of data which is of lower quality. The most optimal retriever, built on the Llama-2-7B architecture using LoRA and 4-bit quantization, achieved a 0.53 Accuracy@100 and 0.032 MRR@100. In comparison, the state-of-the-art BGE-large-en retriever model scored 0.282 Accuracy@100 and 0.009 MRR@100 on the same domain. When paired with GPT-4o as the generator, the dual-decoder retriever received a 1282 ELO rating in our manual evaluation, while the BGE-large-en retriever scored 1256 with the same generator, and the fine-tuned LLM model scored 1071. The experiments showed that the dual-decoder retriever configuration provided the most accurate and contextually relevant answers, outperforming the state-of-the-art configuration. It also showed that decoder LLM models can be utilized for building a retriever model with relatively small amount of data. The final system, integrated into a Chrome extension, had a significant impact on Zebra BI's support workflows by automating a large portion of the response process. This not only reduced response times but also improved the accuracy and consistency of answers provided to customers. The extension is now used semi-automatically by Zebra BI's support team, freeing up agents to focus their attention on more complex issues.

• Jezik: Angleški jezik
• Ključne besede: Ustvarjanje besedil, odgovarjanje na vprašanja, iskanje, kodirnik, dekodirnik, transformatorji, iskanje nestrukturiranih podatkov, natančna nastavitev, modeli vgrajevanja, kvantizacija
• Vrsta gradiva: Magistrsko delo/naloga
• Tipologija: 2.09 - Magistrsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2024
• PID: 20.500.12556/RUL-166209
• COBISS.SI-ID: 219818243
• Datum objave v RUL: 24.12.2024

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: S poizvedovanjem obogateno generiranje besedil z domensko specifičnim doučevanjem velikih jezikovnih modeloveli

Izvleček

Razvoj avtomatiziranega sistema za odgovarjanje na vprašanja, ki poenostavi obdelavo e-pošte za podporo strankam, je učinkovita rešitev za zmanjšanje časa in truda pri ročnem odgovarjanju. Trenutno agenti za podporo strankam na e-pošto odgovarjajo ročno, kar je zamudno in delovno intenzivno. Preizkusili smo več konfiguracij za vzpostavitev sistema, ki lahko samodejno odgovarja na ta e-poštna sporočila. Uporabljene podatke je zagotovilo podjetje Zebra BI, sestavljali pa so jih strukturiran korpus elektronskih sporočil podpore in nestrukturiran korpus, pridobljen iz dokumentacije izdelka. Primerjali smo dva glavna pristopa. Prvi je obsegal doučevanje velikega jezikovnega modela za neposredno odgovarjanje na e-pošto. Ta pristop je vseboval samo generator. Drugi je uporabljal arhitekturo RAG (angl. Retrieval-Augmented Generation), ki je vsebovala tako poizvedovalnik (angl. retriever) kot generator. Poizvedovalnik je poiskal podobne e-poštne odgovore in jih dodal kot kontekst za vnaprej naučen model LLM, ki je nato odgovarjal na vprašanje z uporabo prejšnjih podobnih e-pošt. V ta namen smo implementirali dvojno-dekodirni poizvedovalni model, pri čemer smo uporabili tehniko učenja LoRA in kvantizacijo. Dvojno-dekodirni poizvedovalni model je ustvaril vgradnje (angl. embeddings) tako za vprašanja kot odgovore z uporabo ločenih dekodirnikov in jih razvrstil glede na kosinusno podobnost. Razvili smo šest različnih konfiguracij sistema za odgovarjanje na vprašanja. Nekatere konfiguracije so uporabljale tako komponento poizvedovalnika kot generatorja, druge pa so imele samo generator. Najbolje se je izkazala konfiguracija s prilagojenim dvojno-dekodirnim poizvedovalnim modelom, ki je izboljšala sposobnost sistema za iskanje relevantnih informacij iz domensko-specifičnega e-poštnega korpusa. To je tudi pokazalo, da je učenje poizvedovalnika in uporaba arhitekture RAG učinkovitejša rešitev od doučevanja modela LLM, kadar je količina podatkov majhna in nizke kakovosti. Najbolj optimalen poizvedovalnik, zgrajen na arhitekturi Llama-2-7B z uporabo LoRA in 4-bitne kvantizacije, je dosegel natančnost 0.53 pri Accuracy@100 in 0.032 pri MRR@100. V primerjavi s tem je najsodobnejši model poizvedovalnika BGE-large-en dosegel 0.282 pri Accuracy@100 in 0.009 pri MRR@100 v isti domeni. V kombinaciji z GPT-4o kot generatorjem je v našem ročnem ocenjevanju poizvedovalnik z dvojno-dekodirnim modelom prejel oceno 1282 ELO, medtem ko je poizvedovalnik BGE-large-en z istim generatorjem dosegel oceno 1256, doučeni LLM model pa oceno 1071. Eksperimenti so pokazali, da konfiguracija z dvojno-dekodirnim poizvedovalnim modelom zagotavlja najbolj natančne in kontekstualno ustrezne odgovore ter tako presegla najsodobnejšo konfiguracijo. Prav tako so pokazali, da je možno LLM modele z dekodirnikom uporabiti za gradnjo poizvedovalnika z relativno majhno količino podatkov. Končni sistem, integriran v Chrome razširitev, je močno vplival na delovne procese podpore v Zebra BI z avtomatizacijo velikega dela odgovarjanja. S tem se je ne le zmanjšal čas odgovarjanja, ampak se je izboljšala tudi natančnost in doslednost odgovorov za stranke. Razširitev zdaj ekipa podpore v Zebra BI uporablja pol-avtomatsko, kar omogoča agentom, da se osredotočijo na bolj zahtevna vprašanja.

• Ključne besede: Text generation, question answering, retrieval, encoder, decoder, transformers, unstructured data retrieval, fine-tuning, embedding models, quantization