Odkrivanje stereotipov v velikih slovenskih jezikovnih modelih tipa BERTGornik, Maja (Avtor) Robnik Šikonja, Marko (Mentor) veliki vnaprej naučeni jezikovni modelimodel BERTmodel SloBERTastereotipiVeliki vnaprej naučeni jezikovni modeli so zaradi svoje uspešnosti trenutno eden glavnih pristopov k obdelavi naravnega jezika. Ti modeli so naučeni na obsežnih zbirkah besedil, ki vsebujejo različne oblike pristranosti in stereotipov. V okviru magistrske naloge analiziramo, kako se te pristranosti in stereotipi odražajo v naučenih jezikovnih modelih za slovenski jezik, zlasti v modelu SloBERTa, ki je naučen pretežno na standardnem jeziku. Za odkrivanje stereotipov uporabimo jezikovni model za napovedovanje manjkajočih besed v stavkih, ki opisujejo značilnosti posameznih družbenih skupin. S tem pristopom identificiramo značilne lastnosti za širok nabor družbenih skupin, analiziramo njihov sentiment in rezultate statistično ovrednotimo. Rezultati analize kažejo, da obstajajo statistično značilne razlike med obravnavanimi skupinami glede na določen sentiment. Izkaže se tudi, da modeli odražajo številne negativne stereotipe, ki so bolj izraziti pri modelih naučenih na pogovornem jeziku, kot sta modela SloBERTa-SlEng in SlEng-BERT. Delo prispeva k boljšemu razumevanju delovanja velikih jezikovnih modelov in izzivov, povezanih z njihovo uporabo v praksi. Poleg tega ima potencial za uporabo pri odkrivanju družbenih stereotipov in stališč do posameznih socialnih skupin.20242024-02-16 07:15:04Magistrsko delo/naloga154462VisID: 139722COBISS_ID: 184907267sl