Evalvacija sistema za strojno prevajanje predavanjKrek, Luka (Avtor) Popič, Damjan (Mentor) Strojno prevajanjeročna evalvacijarazpoznava govoraavtomatsko podnaslavljanjeanaliza napakOb današnjem tehnološkem napredku na področju zagotavljanja jezikovnih in prevajalskih storitev je pomembno, da temu sledi tudi univerzitetno študijsko okolje. Temu je namenjen projekt oz. proces razvoja sistema za strojno prevajanje predavanj Online Notes (ON), ki ga obravnava to magistrsko delo. Namen dela je predstaviti osnovne značilnosti delovanja sistema ON, ugotoviti, kako dobro deluje na trenutni stopnji razvoja in postaviti temelje za nadaljnje ocenjevanje njegove uspešnosti v prihodnje. Analizirano je delovanje sistema, ki je razdeljeno na tri stopnje – razpoznava govora v slovenščini, prevajanje besedila iz slovenščine v angleščino, in prikaz besedila v obliki podnapisov, ki je namenjen končnim uporabnikom. Pri prvi stopnji so analizirane napake v prepoznavanju in pretvorbi govora s pomočjo metode podrobne ročne evalvacije. Enako metodo smo nato uporabili pri evalvaciji prevodov, ki je bila poleg tega opravljena tudi strojno, in sicer z uporabo ocenjevalnih metrik BLEU in METEOR. Odzive končnih uporabnikov pri tretji stopnji smo preverili s pomočjo anketnega vprašalnika. Pokazalo se je, da so pri razpoznavi govora potrebne določene izboljšave, predvsem pri segmentaciji stavkov. Napake so posledično vplivale tudi na slabšo kvaliteto prevodov, kljub temu pa so rezultati prevajalnika znotraj sistema ON v primerjavi s prevajalnikoma Google in DeepL solidni. To potrjujejo tudi odzivi respondentov v anketnem vprašalniku. Rezultati raziskave kažejo, da je razvoj sistema na dobri poti in da lahko ob primernih izboljšavah pričakujemo kvaliteten sistem za strojno prevajanje predavanj, ki bo primeren za uporabo v predavalnicah.20212021-12-04 07:15:03Magistrsko delo/naloga133615sl