20.500.12556/RUL-139799 Izgradnja podpore slovenščini v knjižnici Spacy Building support for Slovene in Spacy library Predstavljen je postopek izgradnje podpore za slovenščino v okolju Spacy, ki je ena najpopularnejših knjižnic za obdelavo naravnega jezika. Opisane so osnovne funkcionalnosti orodij za obdelavo naravnega jezika in predsta- vljene nekatere obstoječe knjižnice, modeli ter korpusi s tega področja. Po- drobneje je predstavljeno okolje Spacy in njegova implementacija cevovoda za označevanje besedil. Praktični del obsega izdelavo novih modelov za le- matizacijo, oblikoskladenjsko označevanje, skladenjsko razčlenjevanje in pre- poznavanje imenskih entitet v standardnem in nestandardnem slovenskem jeziku. Ena od komponent izdelave so besedni vektorji, ki jih generiramo iz obstoječih prosto dostopnih korpusov. Modeli strojnega učenja so ustvarjeni s pomočjo odprtokodne knjižnice Thincc. Opisan je postopek konfiguracije in treniranja modelov na ročno označenih učnih množicah ssj500k (za stan- dardno slovenščino) in Janes-Tag (za nestandardno slovenščino). Zgrajene komponente ovrednotimo s primerjavo hitrosti ter natančnosti že obstoječih modelov. We present the implementation of the Slovenian annotation pipeline in Spacy, which is one of the most popular libraries for natural language processing. We outline some of the existing tools, models and corpora. Spacy and it’s low-level pipeline for language annotations are described in detail. We imple- mentint new models for lemmatization, part-of-speech tagging, dependency parsing and named entity recognition for Slovenian. We generate static word embeddings from existing and publicly available corpora. The models are built using neural networks and the open source library Thincc. We describe the configuration and training of the models on two public corpora, ssj500k (for standard Slovenian) and Janes-Tag (for nonstandard Slovenian). The models are evaluated and compared to existing tools. obdelava naravnega jezika označevanje besedil spacy korpus besedni vektorji natural language processing text annotation spacy corpus word embeddings true false false Slovenski jezik Angleški jezik Diplomsko delo/naloga 2022-09-07 11:25:12 2022-09-07 11:25:20 2023-11-27 09:59:39 0000-00-00 00:00:00 2022 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 35290 121780227 Dragar_Luka_-_Izgradnja_podpore_slovenscini_v_knjiznici_Spacy.pdf Dragar_Luka_-_Izgradnja_podpore_slovenscini_v_knjiznici_Spacy.pdf 1 33141FB6E06410A34286B9B67E4F9FD2 22fd431c744a093c14a4e2e5abfa3e45907f63d1e792fd1d6e0c7917e7348ac0 f0b482a2-2e8e-11ed-92af-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=160420 Fakulteta za računalništvo in informatiko Fakulteta za matematiko in fiziko 0 0 0