Podrobno

Primerjalna analiza učinkovitosti detektorjev pri prepoznavanju sintetično ustvarjenih besedil : magistrsko delo
ID Shebunchak, Nazariy (Avtor), ID Pisanski, Jan (Mentor) Več o mentorju... Povezava se odpre v novem oknu

.pdfPDF - Predstavitvena datoteka, prenos (3,44 MB)
MD5: 063B8DA5404D3620C0D33A4EFA3E6DF3
.docxDOCX - Priloga, prenos (65,06 KB)
MD5: 42B680B1DE7AF263399DE97615BC2471

Izvleček
Uporaba orodij umetne inteligence za ustvarjenje sintetičnih besedil odpira vprašanje zanesljivosti njihovega avtomatskega prepoznavanja. Namen raziskave je bil ugotoviti, kako učinkovito izbrani detektorji razlikujejo med avtentičnimi izvlečki s področja bibliotekarstva, sintetično ustvarjenimi izvlečki in počlovečenimi različicami sintetično ustvarjenih besedil. Analizirani so bili trije detektorji, ki omogočajo detekcijo slovenskih besedil: AIDetector.com, ZeroGPT.com in MyDetector.ai. V analizo je bilo vključenih 44 izvirnih izvlečkov znanstvenih člankov v slovenskem jeziku, objavljenih v reviji Knjižnica v obdobju 2012–2017. Naslovi teh člankov so bili uporabljeni kot vsebinsko izhodišče za pozive v orodju ChatGPT, na podlagi katerih so nastali sintetični izvlečki. Tretjo skupino so predstavljala počlovečena besedila, dodatno preoblikovana v orodju ChatGPT iz sintetičnih izvlečkov tako, da bi se približala naravnemu človeškemu pisanju in zmanjšala oceno sintetičnosti pri detekciji. Rezultati so pokazali, da detektorji niso povsem zanesljivo razlikovali med človeško pisanimi in sintetično tvorjenimi besedili. Sintetične izvlečke so praviloma pogosteje prepoznali kot umetno ustvarjene, vendar so se pojavljali tako lažno pozitivni kot lažno negativni rezultati. Po počlovečenju so bila besedila ocenjena kot manj verjetno umetno ustvarjena, v nekaterih primerih celo manj kot izvirni človeško pisani izvlečki. Ugotovitve poudarjajo potrebo po previdni in kritični uporabi takšnih orodij, zlasti v akademskih postopkih, pri katerih imajo lahko napačne ocene resne negativne posledice.

Jezik:Slovenski jezik
Ključne besede:primerjalna analiza, učinkovitost detektorjev, sintetična besedila, umetna inteligenca, MyDetector.ai, ZeroGPT.com, AiDetector.com, ChatGPT
Vrsta gradiva:Magistrsko delo/naloga
Tipologija:2.09 - Magistrsko delo
Organizacija:FF - Filozofska fakulteta
Status publikacije:Objavljeno
Kraj izida:Ljubljana
Založnik:N. Shebunchak
Leto izida:2026
Št. strani:97 str.
PID:20.500.12556/RUL-189337 Povezava se odpre v novem oknu
UDK:004.912.05:004.8(043.2)
COBISS.SI-ID:301821443 Povezava se odpre v novem oknu
Datum objave v RUL:04.10.2026
Število ogledov:156
Število prenosov:89
Metapodatki:XML DC-XML DC-RDF
:
Kopiraj citat
Objavi na:Bookmark and Share

Sekundarni jezik

Jezik:Angleški jezik
Naslov:Comparative Analysis of the Performance of Detectors in the Recognition of Synthetically Generated Texts
Izvleček:
The use of artificial intelligence tools to create synthetic texts raises questions about the reliability of their automated detection. The aim of the study was to determine how effectively the selected detectors distinguish between authentic abstracts in the field of librarianship, synthetically generated abstracts, and humanized versions of synthetically generated texts. Three detectors capable of detecting Slovenian-language texts were analyzed: AIDetector.com, ZeroGPT.com, and MyDetector.ai. The analysis included 44 original abstracts of scientific articles written in Slovenian and published in the journal Knjižnica between 2012 and 2017. The titles of these articles were used as the thematic basis for prompts entered into ChatGPT, on the basis of which synthetic abstracts were generated. The third group consisted of humanized texts, additionally transformed in ChatGPT from the synthetic abstracts in order to make them more closely resemble natural human writing and to reduce their synthetic-content detection scores. The results showed that the detectors did not distinguish entirely reliably between human-written and synthetically generated texts. Synthetic abstracts were generally more frequently identified as artificially generated; however, both false-positive and false-negative results occurred. After humanization, the texts were assessed as less likely to have been artificially generated, in some cases even less so than the original human-written abstracts. The findings underscore the need for cautious and critical use of such tools, particularly in academic procedures where incorrect assessments can have serious negative consequences.

Ključne besede:comparative analysis, detector efficiency, synthetic texts, artificial intelligence, MyDetector.ai, ZeroGPT.com, AiDetector.com, ChatGPT

Podobna dela

Podobna dela v RUL:
Podobna dela v drugih slovenskih zbirkah:

Nazaj