Medjezikovno povzemanje besedilPečovnik, Žan (Avtor) Robnik Šikonja, Marko (Mentor) medjezikovno povzemanje besedilobdelava naravnega jezikaarhitektura transformervnaprej naučeni jezikovni modelimodel LongT5model PEGASUS-Xmodel BigBirdmetrika BLEURTmetrika ROUGE-LMedjezikovno povzemanje besedil je proces generiranja povzetka besedila v drugem jeziku in predstavlja eno izmed manj raziskanih področij obdelave naravnega jezika, saj je večina raziskav osredotočenih zgolj na angleški jezik. Razvili smo tri modele, zmožne direktnega povzemanja iz slovenskega v angleški jezik, ki temeljijo na vnaprej naučenih modelih LongT5, PEGASUS-X in BigBird. Za učenje smo uporabili podatkovno množico KAS 2.0, ki vsebuje 52351 slovenskih akademskih del in pripadajočih angleških povzetkov. Naredili smo več eksperimentov, kjer smo za prilagajanje modelov uporabili različne deleže učne množice. Modele smo kvantitativno evalvirali z metrikama ROUGE-L in BLEURT ter ugotovili, da se je najbolje izkazal model LongT5, zelo se mu je približal še model PEGASUS-X. Model BigBird je bil pri metriki BLEURT slabši za približno 8%, medtem ko je bil pri drugih metrikah primerljiv z ostalima modeloma. Ročno smo kvalitativno evalvirali 30 generiranih povzetkov za vsak model in jih klasificirali kot dobre oz. slabe. Model LongT5 je generiral tri dobre povzetke, PEGASUS-X enega, BigBird pa nobenega.20242024-11-15 15:20:08Magistrsko delo/naloga164918sl