20.500.12556/RUL-112851 Cross-lingual embeddings for hate speech detection in comments Uporaba medjezičnih vektorskih vložitev za odkrivanje sovražnega govora v komentarjih With the recent explosion of social media content, the amount of online hate speech is increasing, making it impossible to filter it manually. For automatic hate speech detection, a lot of annotated data is needed, which is mostly available for high-resource languages. In spite of data scarcity in low-resource languages, we want to detect hate speech in those languages. We use cross-lingual embeddings to achieve an acceptable performance in hate speech detection in a target language, using data from another language. We use hate speech comments from English, German, and Croatian. We use fastText word embeddings, align them with the RCSLS method, and achieve reasonable performance in 2 out of 6 language pairs. With Multilingual BERT, we improve upon this method, and achieve acceptable performance in 3 out of 6 language pairs. V zadnjih letih se je z eksplozijo vsebin na družbenih medijih povišala količina sovražnega govora. Zaradi velike količine podatkov je ročno moderiranje sovražnih vsebin nemogoče. Trenutno za avtomatsko odkrivanje sovražnega govora najpogosteje uporabljamo nevronske mreže. Za njihovo učenje je potrebno veliko označenih primerov, ki so večinoma na voljo le za večje jezike, npr. za angleščino. Označenih podatkov za manjše jezike je načeloma malo. Vseeno bi želeli tudi v teh jezikih zaznavati sovražni govor. V tem delu s pomočjo medjezikovnih vložitev razvijemo metodo, ki ob prenosu dosega sprejemljive rezultate za ciljni jezik. Komentarji s sovražnim govorom so v angleščini, nemščini in hrvaščini. Uporabimo fastText vložitve, jih poravnamo z metodo RCSLS, in dosežemo sprejemljive rezultate za dva od šestih jezikovnih parov. Z modelom BERT izboljšamo to metodo in dosežemo sprejemljive rezultate za tri od šestih jezikovnih parov. word embedding cross-lingual embedding deep learning hate speech detection natural language processing RCSLS method BERT language model vektorska vložitev medjezikovna vložitev globoko učenje odkrivanje sovražnega govora obdelava naravnega jezika metoda RCSLS jezikovni model BERT true false false Angleški jezik Slovenski jezik Magistrsko delo/naloga 2019-11-15 13:35:01 2019-11-15 13:35:05 2022-08-25 03:51:38 0000-00-00 00:00:00 2019 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 1970-01-01 22844 1538458051 Marinsek_Rok_-_Uporaba_medjezicnih_vektorskih_vlozitev_za_odkrivanje_sovraznega_govora_v_komenta.pdf Marinsek_Rok_-_Uporaba_medjezicnih_vektorskih_vlozitev_za_odkrivanje_sovraznega_govora_v_komenta.pdf 1 C1732A35261B1202151D9619D7177CB2 76fad5b68f83cf468f442fd34e9ad1e91ec47469e007463f0c52fa4bbbbbac80 f8027b3a-a1b7-11eb-a523-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=124790 Fakulteta za računalništvo in informatiko 0 0 0