Avtomatsko povzemanje daljših besedil v slovenščini

COLNAR, BRIN (avtor), Robnik Šikonja, Marko (mentor)

V okviru diplomske naloge sem razvil model, ki povzema daljša besedila v slovenskem jeziku. Pri tem sem si pomagal z obstoječimi vnaprej naučenimi nevronskimi mrežami tipa transformer, kot sta mBART in Longformer. Za učenje sem uporabil podatkovno množico akademskih del in njihovih povzetkov KAS 2.0. Model sem evalviral z obstoječimi merami za ocenjevanje povzetkov in tudi ročno. Kvalitativno gledano model za nekatera besedila (okoli 36%) vrne dober povzetek, ki vsebuje pomembne informacije iz besedila, medtem ko je za večino besedil (okoli 63%) manj uspešen.

• Jezik: Slovenski jezik
• Ključne besede: obdelava naravnega jezika, povzemanje daljših besedil, arhitektura transformer
• Vrsta gradiva: Diplomsko delo/naloga
• Tipologija: 2.11 - Diplomsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2022
• PID: 20.500.12556/RUL-140420
• COBISS.SI-ID: 123603203
• Datum objave v RUL: 14.09.2022

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Automatic summarization of long texts in Slovene

Izvleček

I developed a model that summarises long texts in Slovenian. I used existing pre-trained transformer based neural networks such as mBART and Longformer. I used the KAS 2.0 dataset of academic papers and their abstracts. I evaluated the model using existing summary evaluation criteria and also manually. Qualitatively, for some texts (around 36%) the model returns a good summary containing the relevant information from the text, while for most texts (around 63%) it performs less well.

• Ključne besede: natural language processing, long text summarization, transformer architecture