Izboljšava obravnave negacije v velikih jezikovnih modelihKRANJEC, MATEJ (Avtor) Robnik Šikonja, Marko (Mentor) globoke nevronske mrežeklasifikacijaobravnava negacijeveliki vnaprej naučeni jezikovni modeliV diplomski nalogi smo preizkusili metodo za izboljšavo klasifikacije globokih nevronskih mrež s predznanjem o negaciji. Najuspešnejši jezikovni modeli, kot na primer BERT ali ELMo, so uspešni pri klasifikaciji besedil, a odpovejo pri negaciji. Prednaučene jezikovne modele smo prilagodili, da tudi v slovenščini bolje delujejo z negacijo. To smo dosegli z spreminjanjem funkcije izgube nevronske mreže ter prilagajanjem obstoječih modelov. Metodo smo preizkusili na prilagojenem korpusu z dodanimi negacijami osnovnih stavkov. Metoda je uspešno zmanjšala delež napačnih napovedi v negiranih stavkih pri maskiranem jezikovnem modelu, točnost na nalogah iz slovenske zbirke SuperGLUE pa je ponekod izboljšala, drugje pa poslabšala.20222022-09-06 13:05:00Diplomsko delo/naloga139701sl