Prilagajanje vnaprej naučenega modela BERT slovenskim klasifikacijskim nalogamBOMBEK, MIHA (Avtor) Robnik Šikonja, Marko (Mentor) strojno učenjeobdelava naravnega jezikamodel BERTklasifikacijska nalogaprilagajanje z združevanjem adapterjevZa reševanje nalog na področju obdelave besedil so trenutno najbolj uspešni modeli arhitekture transformer, kot je vnaprej naučen model BERT. Pri prilagajanju predhodno naučenega modela za specifično nalogo ponavadi prilagodimo vse parametre modela. V delu preučujemo metode prilagajanja modela BERT, ki prilagodijo le manjši del parametrov. Analiziramo rezultate pri reševanju klasifikacijskih nalog v slovenščini. Prilagajamo večjezikovna modela CroSloEngual BERT in mBERT na nalogah prepoznavanja imenskih entitet in označevanja univerzalnih besednih vrst. Uporabimo štiri različne metode prilagajanja: prilagajanje celotnega modela, prilagajanje le zadnje plasti, prilagajanje z adapterjem in prilagajanje z metodo združevanja adapterjev. Pokažemo, da prilagajanje z adapterjem, kljub majhnemu številu prilagojenih parametrov, dosega dobre rezultate in da lahko z združevanjem adapterjev dosežemo tudi boljše rezultate kot pri prilagajanju celotnega modela. Ugotovimo, da je metoda združevanja adapterjev koristnejša pri klasifikacijskih nalogah višjega nivoja. Slabost te metode je čas učenja, saj je celoten postopek združevanja adapterjev lahko dolgotrajen.20212021-02-12 15:20:01Diplomsko delo/naloga124725sl