20.500.12556/RUL-142106 Cross-lingual transfer of resources and models for question answering Medjezikovni prenos virov in modelov za problem odgovarjanja na vprašanja Implementing natural language processing (NLP) techniques for low-reso-urce languages is one of the biggest challenges in today's machine learning field. Most state-of-the-art works are focused on well-resourced languages, such as English. However, most languages have scarce resources and it is hard, and in some cases almost impossible, to develop NLP models. We focus on implementation of automatic question answering (QA) models in Macedonian. Since there are no QA datasets in Macedonian yet, we provide the first semi-automatic translation of the SuperGLUE benchmark. Using three question answering datasets from this benchmark (BoolQ, COPA and MultiRC) we fine-tune and compare several transformer-based models. The obtained results show that even in a low-resource language such as Macedonian, we can obtain good results for automatic QA. The translated benchmark and the fine-tuned models can represent a baseline for further research. Implementacija tehnik obdelave naravnega jezika (NLP) za jezike z malo viri je eden večjih izzivov na področju strojnega učenja. Večina raziskav je osredotočena na jezike z dovolj viri, kot je angleščina. Ker so za večino jezikov viri omejeni, je zanje težko razviti modele NLP. V magisterskem delu se osredotočimo na implementacijo modelov avtomatskega odgovarjanja na vprašanja (QA) v makedonskem jeziku. Ker v makedonščini še ne obstajajo učne množice za ta namen, izdelamo prvi polavtomatski prevod zbirke nalog SuperGLUE. Z uporabo treh učnih množic za odgovarjanje na vprašanja (BoolQ, COPA in MultiRC) prilagodimo več modelov, ki temeljijo na arhitekturi transformer. Dobljeni rezultati kažejo, da lahko tudi v jeziku z malo viri, kot je makedonščina, dobimo dobre rezultate za QA. Prevedene učne množice in prilagojeni modeli predstavljajo izhodišče za nadaljnje raziskave. question answering cross-lingual transfer information retrieval deep learning Macedonian language transformer models odgovarjanje na vprašanja medjezikovni prenos pridobivanje informacij globoko učenje makedonščina transformer model true false false Angleški jezik Slovenski jezik Magistrsko delo/naloga 2022-10-20 11:25:00 2022-10-20 11:25:06 2022-11-11 06:04:45 0000-00-00 00:00:00 2022 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 34722 128897795 Dodevska_Lodi_-_Medjezikovni_prenos_virov_in_modelov_za_problem_odgovarjanja_na_vprasanja.pdf Dodevska_Lodi_-_Medjezikovni_prenos_virov_in_modelov_za_problem_odgovarjanja_na_vprasanja.pdf 1 A04CCF15F31AC01A1A4778B128889CF3 ecea2716b899093f9b576b7801b21711deb6728588d8754c639b09dfb88d01a5 0698548b-5059-11ed-9c94-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=163375 Fakulteta za računalništvo in informatiko 0 0 0