Cross-Lingual Transfer Learning for Joint Intent Classification and Slot Filling

Osterman, Janez (author), Dobrišek, Simon (mentor)

In today's world, ubiquitous voice assistants have seamlessly integrated into our daily lives. From Amazon's Alexa to Apple's Siri, people engage with these systems daily. Voice assistants are representatives of Natural Language Processing (NLP) systems, with Natural Language Understanding (NLU) forming a vital core component. In the context of in-car voice assistants like 'Hey Mercedes,' these systems play a crucial role in providing drivers with information spanning various domains. They facilitate communication on everyday topics and empower users to execute many different tasks simply by issuing voice commands, eliminating the need for manual intervention, such as closing windows. NLU enables the system to extract important information from the user's request which allows the system to provide a desired answer or take a desired action. There are many different NLU tasks, however, for systems like voice assistants intent classification and slot filling are two crucial ones. Intent classification primarily concerns identifying the underlying purpose or intention behind a user's request, while slot filling is dedicated to extracting specific slots from the user's request. These slots contribute detailed, specific information that complements the overall intent, resulting in a more precise and comprehensive system response. Language models form the foundation of natural language understanding. Traditionally, these models require a large amount of training data with annotations to become proficient in specific tasks. When we aim to enable a system to effectively comprehend and operate in a specific language, the presence of annotated data in that language becomes a necessity. The challenge arises when we face a shortage of annotated training datasets for a particular language. English, being widely prevalent on the internet, boasts abundant datasets, as do a handful of other high-resource languages. However, for the majority of languages, often referred to as low-resource languages, the scarcity of annotated datasets presents a significant hurdle. Developing datasets in a new language can be a costly and time-intensive task. This is why cross-lingual transfer learning techniques have gained significant traction in recent years. These methods utilize annotated datasets in high-resource languages to make the model perform well in some particular low-resource target language. The successful implementation of efficient cross-lingual transfer learning techniques not only mitigates costs but also expedites the incorporation of new languages into voice assistant systems. The 'Hey Mercedes' voice assistant encompasses numerous domains, many of which are accessible in multiple languages. When the objective is to integrate a new language into the voice assistant, the preference is to leverage pre-existing training datasets in high-resource languages rather than embarking on the creation of a brand-new dataset tailored to the target language. The primary objective of this thesis is to delve into a variety of cross-lingual transfer learning approaches and identify the most effective one. Our investigation encompasses four distinct groups of approaches: direct transfer, translation-based, code-switching, and in-context learning methods. The first three approaches involve supervised fine-tuning of pre-trained BERT-based language models for our NLU task - joint intent classification and slot filling. In contrast, the in-context learning approach is grounded in the concept of learning from analogy through the examination of a few annotated data examples. Our research encompasses a comprehensive set of experiments conducted in two separate domains - ATIS and Mercedes Car Functions. In the ATIS domain, we designate English as our high-resource language and strive to attain robust performance on test languages, including German, Spanish, French, and Portuguese. Meanwhile, in the Mercedes Car Functions domain, we select German as our high-resource language and aim to achieve good model performance in English, French, Spanish, and Portuguese. The findings clearly illustrate that the code-switching cross-lingual transfer learning approach yields the most favorable results. Nevertheless, it's crucial to note that this approach is heavily dependent on the availability of high-quality translators, which may not always be guaranteed. Therefore, while code-switching is a promising approach, it may not always be the most suitable solution, prompting the need for consideration of other approaches.

• Language: English
• Keywords: cross-lingual transfer learning, language models, natural language understanding, intent classification, slot filling
• Work type: Master's thesis/paper
• Organization: FE - Faculty of Electrical Engineering
• Year: 2023
• PID: 20.500.12556/RUL-152441
• COBISS.SI-ID: 180956675
• Publication date in RUL: 24.11.2023

Secondary language

• Language: Slovenian
• Title: Medjezični prenos učenja za združeno klasifikacijo namena in polnjenja besednih rež

Abstract

V zadnjih letih so se glasovni asistenti močno vključili v naše vsakodnevno življenje. Od Amazonove Alexe do Applove Siri, ljudje uporabljajo glasovne asistente na vsakem koraku. Glasovni asistenti so eni izmed predstavnikov sistemov za obdelavo naravnega jezika, ki jo v grobem razdelimo na razumevanje in tvorjenje naravnega jezika. V tej magistrski nalogi se osredotočamo na razumevanje naravnega jezika, saj je le-to ključno za dobro delovanje zvočnih asistentov. Vgrajeni glasovni asistenti v avtomobilih, kot je 'Hey Mercedes', imajo ključno vlogo pri zagotavljanju različnih informacij vozniku. Omogočajo komunikacijo o različnih temah in uporabnikom omogočajo izvedbo različnih nalog s preprostim izdajanjem glasovnih ukazov, pri čemer ni potrebna ročna intervencija. Primer tovrstne asistence je zapiranje in odpiranje oken z zvočnim ukazom. Algoritmi razumevanja naravnega jezika omogočajo sistemu, da iz uporabnikove zahteve izlušči pomembne informacije, ki so ključne za zagotavljanje želenih odgovorov ali izvajanje želenih dejanj. Obstaja veliko različnih nalog v povezavi z razumevanjem naravnega jezika, vendar sta za sisteme, kot so glasovni asistenti, klasifikacija namena in polnjenje besednih rež dve najbolj pomembni. Klasifikacija namena zajema prepoznavo temeljnega namena uporabnika, medtem ko se polnjenje besednih rež posveča izluščanju specifičnih besednih rež iz uporabnikove zahteve. Te besedne reže dodajajo podrobne in specifične informacije, ki dopolnjujejo uporabnikov namen, kar vodi v natančnejši in celovit sistemski odziv. Jezikovni modeli so osnovni gradniki razumevanja naravnega jezika. Tradicionalno ti modeli zahtevajo obsežne količine podatkov za nadzorovano učenje za specifično nalogo. Če želimo, da naš jezikovni model izkazuje visok nivo razumevanja naravnega jezika v določenem ciljnem jeziku, potem je nujno da imamo v tem jeziku na voljo podatkovne zbirke za nadzorovano učenje. Težava se pojavi, ko se soočimo s pomanjkanjem označenih podatkov za nadzorovano učenje v določenem jeziku. Angleščina, ki prevladuje na spletu, ima po navadi na voljo obilico podatkovnih zbirk. Na drugi strani pa za večino jezikov primanjkuje podatkovnih zbirk, ki bi jih lahko uporabili za nadzorovano učenje jezikovnih modelov. Izdelava podatkovnih zbirk v novem jeziku je drag in časovno zahteven postopek. Tu nastopijo tehnike medjezičnega prenosa učenja, ki so v zadnjih letih pridobile veliko pozornosti. Te metode izkoriščajo podatkovne zbirke v jezikih, v katerih so te podatkovne zbirke že na voljo, in dosežejo, da jezikovni model uspešno opravlja določeno nalogo razumevanja naravnega jezika (v našem primeru sta ti nalogi klasifikacija namena in polnjenje besednih rež). Uspešna implementacija tehnik medjezičnega prenosa učenja ne le zmanjšuje stroške, ampak tudi pospešuje vključevanje novih jezikov v sisteme glasovnih asistentov. Glasovni asistent 'Hey Mercedes', ki je na voljo v avtomobilih znamke Mercedes-Benz, zna komunicirati z uporabnikom o različnih temah. Različnim tematikam, o katerih je zvočni asistent sposoben komunicirati, pravimo domene. V zvočnem asistentu 'Hey Mercedes' je večina domen na voljo v več jezikih. Ko želijo pri Mercedesu integrirati nov jezik v glasovnega asistenta za določeno domeno, je tu navadno že na voljo podatkovna zbirka v jeziku, ki je že implementiran v zvočnega asistenta. Tehnike medjezičnega prenosa učenja nam omogočajo, da uporabimo že obstoječe podatkovne zbirke v nekem jeziku in prek njih dosežemo želen nivo razumevanja v našem ciljnem jeziku, kar je bistveno hitreje in ceneje kot kreiranje nove podatkovne zbirke za specifični ciljni jezik. Osnovni cilj te magistrske naloge je raziskati različne pristope medjezičnega prenosa učenja in izbrati najučinkovitejšega. Metrike, ki jih uporabimo za končno ovrednotenje, sta natančnost za klasifikacijo namena in F1 metrika za polnjenje besednih rež. Naša raziskava zajema štiri različne skupine pristopov: neposredni prenos, pristopi na osnovi prevoda, pristop prek preklapljanja jezikov in pristopi učenja v kontekstu. Naša raziskava zajema štiri različne skupine pristopov: neposredni prenos, pristopi na osnovi prevoda, pristop prek preklapljanja jezikov in pristopi učenja v kontekstu. Raziskava zajema obsežno serijo eksperimentov, izvedenih na dveh ločenih domenah. V prvi domeni, ki se imenuje ATIS (angl. Airline Travel Information System), določimo angleščino kot jezik za katerega imamo na voljo označeno podatkovno zbirko. Prizadevamo si doseči dober nivo razumevanja modela na ciljnih jezikih, vključno z nemščino, španščino, francoščino in portugalščino. Druga domena se imenuje Mercedes Car Functions, kjer izberemo nemščino kot jezik, za katerega imamo na voljo označeno podatkovno zbirko in ciljamo na dobro razumevanje modela v angleščini, francoščini, španščini in portugalščini. Rezultati, do katerih smo prišli, jasno prikazujejo, da je metoda preklapljanja jezikov najbolj uspešna metoda, a se moramo zavedati, da je le-ta močno odvisna od kvalitete in dostopnosti prevajalnikov. V nekaterih primerih prevajalniki niso na voljo ali pa prevodi niso kvalitetni. V tem primeru metoda preklapljanja jezikov ni najbolj primerna in se moramo zanesti na ostale pristope.

• Keywords: medjezični prenos učenja, jezikovni modeli, razumevanje naravnega jezika, klasifikacija namena, polnjenje besednih rež