20.500.12556/RUL-124725 Prilagajanje vnaprej naučenega modela BERT slovenskim klasifikacijskim nalogam Fine-tuning pretrained BERT model for Slovene classification tasks Za reševanje nalog na področju obdelave besedil so trenutno najbolj uspešni modeli arhitekture transformer, kot je vnaprej naučen model BERT. Pri prilagajanju predhodno naučenega modela za specifično nalogo ponavadi prilagodimo vse parametre modela. V delu preučujemo metode prilagajanja modela BERT, ki prilagodijo le manjši del parametrov. Analiziramo rezultate pri reševanju klasifikacijskih nalog v slovenščini. Prilagajamo večjezikovna modela CroSloEngual BERT in mBERT na nalogah prepoznavanja imenskih entitet in označevanja univerzalnih besednih vrst. Uporabimo štiri različne metode prilagajanja: prilagajanje celotnega modela, prilagajanje le zadnje plasti, prilagajanje z adapterjem in prilagajanje z metodo združevanja adapterjev. Pokažemo, da prilagajanje z adapterjem, kljub majhnemu številu prilagojenih parametrov, dosega dobre rezultate in da lahko z združevanjem adapterjev dosežemo tudi boljše rezultate kot pri prilagajanju celotnega modela. Ugotovimo, da je metoda združevanja adapterjev koristnejša pri klasifikacijskih nalogah višjega nivoja. Slabost te metode je čas učenja, saj je celoten postopek združevanja adapterjev lahko dolgotrajen. Transformer based models, such as pretrained BERT model, are currently the most successful approach to text processing tasks. When tuning BERT for a specific task, we usually fine-tune all the model's parameters. We investigate methods for fine-tuning BERT models, which fine-tune only a fraction of parameters for a specific task. We analyze results on Slovene classification tasks. We fine-tune multilingual models CroSloEngual BERT and mBERT on named entity recognition and UPOS tagging. We compare four fine-tuning methods: full model fine-tuning, tuning only the classification head, adapter tuning, and AdapterFusion fine-tuning. We show that adapter tuning achieves good results, despite the small number of tuned parameters, and that AdapterFusion tuning can achieve better results than full model fine-tuning. We discover that AdapterFusion tuning is more beneficial when solving higher level classification tasks. The downside of this method is that it is time consuming. strojno učenje obdelava naravnega jezika model BERT klasifikacijska naloga prilagajanje z združevanjem adapterjev machine learning natural language processing BERT model classification task AdapterFusion fine-tuning true false false Slovenski jezik Angleški jezik Diplomsko delo/naloga 2021-02-12 15:20:01 2021-02-12 15:20:07 2024-03-11 11:55:47 0000-00-00 00:00:00 2021 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 26621 51809539 Bombek_Miha_-_Prilagajanje_vnaprej_naucenega_modela_BERT_slovenskim_klasifikacijskim_nalogam.pdf Bombek_Miha_-_Prilagajanje_vnaprej_naucenega_modela_BERT_slovenskim_klasifikacijskim_nalogam.pdf 1 2D01E306601D0C6115C584D91294671A ec55fc3fd3f49096af1172a93e82b556ffbec761b2c610f2ce7b9cecb0c47fb9 9c25cf0c-a1bb-11eb-a523-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=140326 Fakulteta za računalništvo in informatiko 0 0 0