20.500.12556/RUL-141456 Pomenska detekcija sopomenk in protipomenk s kontekstualnimi vložitvami Semantic detection of synonyms and antonyms with contextual embeddings Cilj magistrskega dela je razvoj metodologije za določanje protipomenk in sopomenk besed za njihove različne pomene. Zanima nas odogovor na vprašanje, ali sta dani besedi v določenih pomenih sopomenki oziroma ali sta potipomenki. Naš pristop vključuje gručenje množice stavkov z dano besedo po njenih pomenih, določanje ustreznega para pomenov kandidatnega para besed ter dva ločena modela za klasifikacijo parov sopomenk oziroma protipomenk v kontekstu. Pri tem uporabljamo kontekstualne vektorske vložitve besed tipa BERT, ki predstavljajo tako informacije o besedi kot tudi o njenem kontekstu. Vse našteto ima potencialno rabo v slovaropisju, pri strojnem prevajanju besedil, avtomatskem povzemanju besedil in ekstrakciji podatkov iz besedila. Najbolje ocenjeno gručenje besed po pomenih dosega povprečno oceno ARI 0.30. Najboljša metoda za določanje sopomenskega para pomenov dosega klasifikacijsko točnost 0.78 za sopomenke in 0.73 za protipomenke. Model na osnovi modela CroSloEngual BERT, ki najbolje določa protipomenke, dosega 90-% preciznost in 61-% priklic ter 60-% klasifikacijsko točnost, model, ki najbolje določa sopomenke, pa ima 99-% preciznost, 50-% priklic in 51-% točnost. The goal of this work is to develop a methodology for sense-based synonym and antonym detection. We are seeking to answer the question whether pairs of words in given contexts are synonyms or antonyms. Our approach includes sense clustering on a set of words in contexts, determining a matching sense of a candidate word pair, and two separate models for contextual synonym and antonym classification. We use contextual word embeddings from BERT models which represent information on words and their context. Everything listed has a potential use in lexicography, machine text translation, automated text summarization and information extraction. Best scored word sense clustering achieves average ARI score of 0.30. Our best methodology for determining sense pairs reaches classification accuracy of 0.78 on synonyms and 0.73 on antonyms. The best CroSloEngual BERT-based model for antonym detection has 90 % precision, 61 % recall and 60 % accuracy, the best model for synonym detection has 99 % precision, 50 % recall in 51 % accuracy. protipomenke sopomenke vektorske vložitve besed model BERT procesiranje naravnega jezika antonyms synonyms word embeddings BERT model natural language processing true false false Slovenski jezik Angleški jezik Magistrsko delo/naloga 2022-09-29 13:15:00 2022-09-29 13:15:02 2022-10-10 06:58:00 0000-00-00 00:00:00 2022 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 33482 124811523 Pegan_Jasmina_-_Pomenska_detekcija_sopomenk_in_protipomenk_s_kontekstualnimi_vlozitvami.pdf Pegan_Jasmina_-_Pomenska_detekcija_sopomenk_in_protipomenk_s_kontekstualnimi_vlozitvami.pdf 1 13530DAA652334EA2A72A961761A0E86 aa3420455b83f66465befb0fa54fdca749d892913f9a66ce0d5ce8d3d41b91bc f45cb492-3fe7-11ed-9c94-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=162523 Fakulteta za računalništvo in informatiko 0 0 0