Implementacija sistema za ocenjevanje esejev na podlagi koherence in semantične skladnosti

Simončič, Žiga (avtor), Bosnić, Zoran (mentor)

Cilj magistrskega dela je implementirati sistem za ocenjevanje esejev v angleškem jeziku. Zgledujemo se po metodologiji obstoječega sistema, ki poleg ocenjevanja sintakse uporablja tudi mere koherentnosti in semantične skladnosti. Metodologijo implementiramo v grafičnem okolju Orange, s prijaznim vmesnikom, opcijsko uporabo vektorskih vložitev za predstavitev besedila in možnostjo nadaljnjega razvoja sistema. Sistem evalviramo na podatkih, dostopnih na spletnem mestu Kaggle in, kolikor je mogoče, rezultate primerjamo z rezultati dosedanje metodologije in jih podrobno analiziramo. Poglobimo se tudi v izbiranje atributov za izboljšanje rezultatov. Glavni prispevki dela obsegajo (1) implementacijo sistema, (2) preprostost uporabe in (3) izboljšave dosedanjega dela, vključno z dodatnimi računskimi možnostmi in podrobno analizo izbiranja atributov za izboljšanje rezultatov.

• Jezik: Slovenski jezik
• Ključne besede: samodejno ocenjevanje esejev, semantična skladnost, Orange
• Vrsta gradiva: Magistrsko delo/naloga
• Tipologija: 2.09 - Magistrsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2020
• PID: 20.500.12556/RUL-120555
• COBISS.SI-ID: 32227843
• Datum objave v RUL: 22.09.2020

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Implementation of an automated essay evaluation system based on coherence and semantic consistency

Izvleček

The goal of this thesis is the implementation of an essay grading system. We lean heavily on the methodology of an existing system, which, besides using syntactical measurements, also uses coherence and semantic cosistency measures. We implement the methodology in the Orange data mining tool, with a firendly user interface, optional use of word embeddings for word representation and the possibility for further developments of the system. The system is evaluated on public datasets from the Kaggle website. The results are to the most possible extent compared with the results of the existing methodology and analyzed in detail. We also compare several attribute selection methods, which improve our results. Main contributions of this work are comprised of (1) implementation of the system, (2) ease of use and (3) improvements upon previous work, including additional computing options and detailed attribute selection analysis.

• Ključne besede: automatic essay evaluation, semantic consistency, Orange