Spremljevalni korpus Trendi in avtomatska kategorizacija

Kosem, Iztok (avtor), Čibej, Jaka (avtor), Dobrovoljc, Kaja (avtor), Kuzman, Taja (avtor), Ljubešić, Nikola (avtor)

Prispevek predstavlja izdelavo korpusa Trendi, prvega spremljevalnega korpusa za slovenščino. Trenutna različica Trendi 2023-02 pokriva besedila od januarja 2019 do konca februarja 2023, vsebuje pa že več kot 700 milijonov pojavnic oz. več kot 586 milijonov besed. Namen korpusa je, da tako strokovni kot nestrokovni javnosti ponudi podatke o aktualni jezikovni rabi in omogoči spremljanje pojavljanja novih besed ter upadanja ali naraščanja rabe že obstoječih. Poleg same vsebine predstavimo tudi metodologijo in načela izdelave korpusa. Drugi del prispevka opisuje razvoj algoritma za avtomatsko kategorizacijo besedil z novičarskih portalov, ki je bil pripravljen za potrebe korpusa Trendi in tudi drugih korpusov s tovrstnimi besedili. Za namene algoritma je bil izdelan nabor 13 tematskih kategorij, ki so v veliki meri prekrivne z mednarodnimi standardi in kategorijami v primerljivih korpusih drugih jezikov. Na besedilih, označenih s kategorijami, smo naučili več različnih jezikovnih modelov in z najprimernejšim dosegli visoko zanesljivost določevanja tematike besedilom.

• Jezik: Slovenski jezik
• Ključne besede: slovenščina, računalniško jezikoslovje, obdelava naravnega jezika (računalništvo), korpusi (jezikoslovje), spremljevalni korpus, avtomatska kategorizacija besedil, neologizmi, novičarski portali
• Vrsta gradiva: Članek v reviji
• Tipologija: 1.01 - Izvirni znanstveni članek
• Organizacija: FF - Filozofska fakulteta ; FRI - Fakulteta za računalništvo in informatiko
• Status publikacije: Objavljeno
• Različica publikacije: Objavljena publikacija
• Leto izida: 2023
• Št. strani: Str. 161-188
• Številčenje: Letn. 11, št. 1
• PID: 20.500.12556/RUL-166276
• UDK: 004.9:81
• ISSN pri članku: 2335-2736
• DOI: 10.4312/slo2.0.2023.1.161-188
• COBISS.SI-ID: 173943811
• Datum objave v RUL: 30.12.2024

Gradivo je del revije

• Naslov: Slovenščina 2.0 : empirične, aplikativne in interdisciplinarne raziskave
• Založnik: Trojina, zavod za uporabno slovenistiko, Trojina, zavod za uporabno slovenistiko, Trojina, zavod za uporabno slovenistiko, Znanstvena založba Filozofske fakultete, Znanstvena založba Filozofske fakultete, Založba Univerze v Ljubljani
• ISSN: 2335-2736
• COBISS.SI-ID: 264547328

Licence

• Licenca: CC BY-SA 4.0, Creative Commons Priznanje avtorstva-Deljenje pod enakimi pogoji 4.0 Mednarodna
• Povezava: http://creativecommons.org/licenses/by-sa/4.0/deed.sl
• Opis: Ta licenca Creative Commons je zelo podobna običajni licenci Priznanje avtorstva, vendar zahteva, da so materialne avtorske pravice na izpeljanih delih upravljane z enako licenco.

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Monitor corpus trendi and automatic text categorization

Izvleček

The paper presents the compilation of the Trendi corpus, the first monitor cor-pus of Slovene. The current version (Trendi 2023-02) contains texts published between January 2019 and October 2023, with a total of over 700 million tokens (more than 586 million words). The purpose of the corpus is to provide linguists and non-linguists with data on current language use and to enable the monitoring of new words as well as the increase and decline in the use of existing words. In the paper, we present the contents of the corpus and the methods and criteria used in its compilation. The second part of the paper is focused on the development of a tool for categorizing text topics in news articles. The tool was developed specifically for the Trendi corpus but can be used for other corpora containing similar texts. A set of 13 thematic categories was developed for the tool. The set generally follows international standards and categories used in comparable corpora for other languages. Using texts annotated with these categories, we trained multiple language models and achieved a high classification accuracy when categorizing text topics.

• Ključne besede: Slovene, computational linguistics, natural language processing (computer science), corpora (linguistics), monitor corpus, automatic text categorization, neologisms, news sites, Slovene