20.500.12556/RUL-136261 SloBench Slovenian Natural Language Processing Benchmark SloBench Slovenski vrednotnik metod za obdelavo naravnega jezika Evaluation of natural language processing (NLP) tasks is an essential part of research and progress in the field. It provides an objective standard for comparison and performance on a specific task. We give an overview of recent public benchmarks and evaluation trends, with focus on the automatic evaluation of systems. We then propose, implement and document a general and extendable model-agnostic evaluation framework, along with the first online platform for the automatic evaluation of Slovene language NLP tasks with public leaderboards, showing the performance of submitted systems. Evalvacija nalog procesiranja naravnega jezika (NLP) je bistven del raziskav in napredka na tem področju. Zagotavlja objektiven standard za uspešnost in primerjavo sistemov pri določeni nalogi. Podamo pregled nedavnih javnih lestvic za najboljše sisteme in trendov njihovega ocenjevanja s poudarkom na avtomatskem vrednotenju sistemov. Nato predlagamo, implementiramo in dokumentiramo splošno, razširljivo in od sistemske arhitekture neodvisno ogrodje za evalvacijo sistemov, skupaj s prvo spletno platformo za avtomatsko vrednotenje NLP nalog v slovenščini z javnimi lestvicami, ki prikazujejo rezultate objavljenih sistemov. natural language processing benchmarking leaderboard machine learning web platform procesiranje naravnega jezika vrednotenje lestvica najboljših strojno učenje spletna platforma true false false Angleški jezik Slovenski jezik Diplomsko delo/naloga 2022-04-21 09:10:04 2022-04-21 09:10:05 2023-11-27 10:48:56 0000-00-00 00:00:00 2022 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 34863 105616643 Dragar_Frenk_-_SloBench-_Slovenski_vrednotnik_metod_za_obdelavo_naravnega_jezika.pdf Dragar_Frenk_-_SloBench-_Slovenski_vrednotnik_metod_za_obdelavo_naravnega_jezika.pdf 1 2C6D0637EEF9EAABC37987F9C10204CA edc0de4bb1f390375998ff8c702ca361218f36c0c93d2c2f5a5aebb35c0ef0af 00a1d0f0-c142-11ec-8aca-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=155800 Fakulteta za računalništvo in informatiko Fakulteta za matematiko in fiziko 0 0 0