Pomenska detekcija sopomenk in protipomenk s kontekstualnimi vložitvami

Pegan, Jasmina (avtor), Robnik Šikonja, Marko (mentor)

Cilj magistrskega dela je razvoj metodologije za določanje protipomenk in sopomenk besed za njihove različne pomene. Zanima nas odogovor na vprašanje, ali sta dani besedi v določenih pomenih sopomenki oziroma ali sta potipomenki. Naš pristop vključuje gručenje množice stavkov z dano besedo po njenih pomenih, določanje ustreznega para pomenov kandidatnega para besed ter dva ločena modela za klasifikacijo parov sopomenk oziroma protipomenk v kontekstu. Pri tem uporabljamo kontekstualne vektorske vložitve besed tipa BERT, ki predstavljajo tako informacije o besedi kot tudi o njenem kontekstu. Vse našteto ima potencialno rabo v slovaropisju, pri strojnem prevajanju besedil, avtomatskem povzemanju besedil in ekstrakciji podatkov iz besedila. Najbolje ocenjeno gručenje besed po pomenih dosega povprečno oceno ARI 0.30. Najboljša metoda za določanje sopomenskega para pomenov dosega klasifikacijsko točnost 0.78 za sopomenke in 0.73 za protipomenke. Model na osnovi modela CroSloEngual BERT, ki najbolje določa protipomenke, dosega 90-% preciznost in 61-% priklic ter 60-% klasifikacijsko točnost, model, ki najbolje določa sopomenke, pa ima 99-% preciznost, 50-% priklic in 51-% točnost.

• Jezik: Slovenski jezik
• Ključne besede: protipomenke, sopomenke, vektorske vložitve besed, model BERT, procesiranje naravnega jezika
• Vrsta gradiva: Magistrsko delo/naloga
• Tipologija: 2.09 - Magistrsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2022
• PID: 20.500.12556/RUL-141456
• COBISS.SI-ID: 124811523
• Datum objave v RUL: 29.09.2022

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Semantic detection of synonyms and antonyms with contextual embeddings

Izvleček

The goal of this work is to develop a methodology for sense-based synonym and antonym detection. We are seeking to answer the question whether pairs of words in given contexts are synonyms or antonyms. Our approach includes sense clustering on a set of words in contexts, determining a matching sense of a candidate word pair, and two separate models for contextual synonym and antonym classification. We use contextual word embeddings from BERT models which represent information on words and their context. Everything listed has a potential use in lexicography, machine text translation, automated text summarization and information extraction. Best scored word sense clustering achieves average ARI score of 0.30. Our best methodology for determining sense pairs reaches classification accuracy of 0.78 on synonyms and 0.73 on antonyms. The best CroSloEngual BERT-based model for antonym detection has 90 % precision, 61 % recall and 60 % accuracy, the best model for synonym detection has 99 % precision, 50 % recall in 51 % accuracy.

• Ključne besede: antonyms, synonyms, word embeddings, BERT model, natural language processing