Medjezikovna primerjava človeških asociacij z asociacijami velikega jezikovnega modelaVrabl, Klara (Avtor) Vintar, Špela (Mentor) Brglez, Mojca (Komentor) razlage besednih asociacijsemantične relacijeveliki jezikovni modelislovenščinaoznačevanje relacijmedjezikovna primerjavaProste besedne asociacije so uveljavljena psiholingvistična metoda, s katero preučujemo, kako je strukturiran mentalni leksikon. Pri nalogi, v kateri udeleženec na stimulus (oz. iztočnico) odgovori s prvo besedo, na katero pomisli, dobimo vpogled v to, kako je pomen organiziran v človeški kogniciji in kako so med seboj povezani različni pojmi. Z razvojem velikih jezikovnih modelov pa v ospredje stopata tudi vprašanji, kako se asociacije, ki jih generirajo modeli, primerjajo s človeškimi in ali so primerjave med človeškimi in strojno generiranimi asociacijami univerzalne, ne glede na jezik. V magistrski nalogi preučujemo asociacije in pripadajoče kratke razlage ter kako se med seboj razlikujejo, kadar so iz različnih virov – bodisi so jih ustvarili ljudje bodisi veliki jezikovni modeli. Hkrati nas zanima, v kolikšni meri se ti vzorci ujemajo z ugotovitvami za angleščino. V nalogi posnemamo metodologijo študije WAX (Word Association eXplanations; Liu et al. 2022), v kateri je bila razvita podatkovna zbirka v angleščini, ki poleg para iztočnica-asociacija vsebuje tudi razlago za asociacijo, del zbirke pa vsebuje tudi oznake semantičnih relacij med iztočnico in asociacijo. Metodologijo smo prenesli na slovenščino in tako ustvarili podatkovno zbirko asociacij z razlagami WAX-SL, vzporedno pa smo ustvarili še zbirke podatkov, ki smo jih generirali z velikimi jezikovnimi modeli. Teoretično ozadje Preučevanje besednih asociacij ima dolgo tradicijo v psiholingvistiki in kognitivni psihologiji. Clark (1970) je pokazal, da asociacije niso naključne, temveč sledijo sistematičnim pravilom, povezanim s sintaktičnimi in semantičnimi lastnostmi besed. Razlikoval je med paradigmatičnimi odgovori, pri katerih asociacija pripada istemu sintaktičnemu razredu kot iztočnica, in sintagmatičnimi odgovori, pri katerih pripada drugemu razredu. Fitzpatrick (2007) je to sliko dopolnila z ugotovitvijo, da med odraslimi govorci obstaja precejšnja individualna variabilnost v asociativnem slogu, ter predlagala taksonomijo štirih splošnih tipov odgovorov: asociacije na podlagi pomena, položaja, oblike in nepredvidljive asociacije. Sistematično zbiranje asociativnih podatkov v večjem obsegu sega vsaj do začetka 20. stoletja, ko sta Kent in Rosanoff (1910) zbrala asociacije na sto iztočnic s standardiziranega seznama. Odgovore sta pridobila tako od pacientov na psihiatriji kot od zdravih oseb, njun cilj pa je bil primerjati asociacije obeh skupin. Eden najpomembnejših obsežnejših virov besednih asociacij svojega časa je podatkovna zbirka prostih asociacij Univerze Južne Floride (Nelson et al. 2004), ki vsebuje skoraj tri četrt milijona odgovorov več kot 6.000 udeležencev na 5.019 iztočnic, vključno z meritvami asociativne moči in posredovanih povezav. Pomembno nadaljevanje tega raziskovalnega pristopa predstavlja projekt Small World of Words (sl. mali svet besed; De Deyne et al. 2019), ki je zbiranje besednih asociacij razširili v obsežno digitalno zbirko za angleščino z več kot 12.000 iztočnicami in odgovori več kot 90.000 udeležencev. Danes so v projekt vključeni številni jeziki, med njimi tudi slovenščina (Brglez, Vintar in Žagar 2024; Vintar et al. 2025). Z razvojem modelov na podlagi distribucijske semantike in velikih jezikovnih modelov je primerjanje človeških in strojno generiranih asociacij postalo pomembna tema računalniškega jezikoslovja. Mandera, Keuleers in Brysbaert (2017) so pokazali, da modeli, ki temeljijo na napovedovanju, praviloma bolje zajamejo človeška semantična razmerja kot tradicionalni modeli, ki temeljijo na štetju. Nematzadeh, Meylan in Griffiths (2017) pa so ugotovili, da statični vektorski modeli ne zajamejo nekaterih ključnih vidikov človeških asociacij. Slovenske raziskave na tem področju kažejo, da so modeli sicer sposobni generirati asociacije, a se te s človeškimi prekrivajo le delno. V primerjavi s človeškimi odzivi so odzivi modelov manj ustvarjalni in raznoliki (Brglez, Vintar in Žagar 2024; Vintar in Javoršek 2025). Podatkovna zbirka WAX (Liu et al. 2022) je bilo razvita z namenom, da poleg samih asociacij zajame tudi razloge, zakaj so udeleženci producirali določene asociacije. Udeleženci so najprej navedli asociacijo na iztočnica, nato pa v obliki povedi napisali kratko razlago razmerja med iztočnicam in asociacijo. Del podatkov je bil nato še dodatno označen s semantičnimi relacijami na podlagi taksonomije s 16 razredi. V tej nalogi smo metodologijo WAX prenesli na slovenščino in tako ustvarili podatkovno zbirko asociacij z razlagami WAX-SL, obenem pa smo ustvarili še množice podatkov, ki smo jih generirali z velikimi jezikovnimi modeli. Metodologija Za zbiranje podatkov smo oblikovali seznam s 100 iztočnicami na osnovi Referenčnega seznama pogostih splošnih besed za slovenščino (Holdt et al. 2020), ki temelji na besedišču, skupnem več velikim slovenskim korpusom. Iztočnice smo izbrali naključno, pri tem pa smo se držali metodologije študije WAX in seznam uravnotežili glede na število samostalnikov, glagolov in pridevnikov. Prislovov v seznam iztočnic nismo vključili, saj so bili izvzeti iz nadaljnjih analiz tudi pri originalni študiji. Zbiranje podatkov za WAX-SL je potekalo v dveh fazah, pri tem nam je pomagalo devet označevalcev. V prvi fazi smo zbirali po tri asociacije na iztočnica. Vsak označevalec je podal med 45 in 48 asociacij, tako smo na vsako od 100 iztočnic dobili odgovore štirih označevalcev. V drugi fazi so označevalci za svoje asociacije napisali kratko razlago razmerja med iztočnicam in asociacijo, dolgo od 3 do 15 besed. Razlage so morale vsebovati tako iztočnica kot asociacijo; besedi so zavoljo slovnične pravilnosti lahko pregibali, niso pa jima smeli spremeniti besedne vrste. V nastali podatkovni zbirki smo zbrali približno 1.200 trojic iztočnica–asociacija–razlaga. Vzporedno smo podatke generirali tudi s pomočjo treh velikih jezikovnih modelov: Gemma 3, večjezičnega modela, pri katerem slovenščina spada med podprte jezike in ga je razvil Google; GaMS, modela, ki je bil razvit z nadaljnjim učenjem na slovenskih podatkih in temelji na arhitekturi Gemma 2; ter Magistral Small, 24-milijardnega modela, ki ga je razvil Mistral AI z uporabo metode okrepljenega učenja iz preverljivih nagrad (ang. Reinforcement Learning from Verifiable Rewards – RLVR) in ki slovenščine ne navaja med podprtimi jeziki. Vsi trije modeli so odprtega tipa (ang. open weight oz. z odprtimi utežmi), ki so lokalno naloženi na strežnikih Inštituta Jožef Stefan. Za vsako od 100 iztočnic smo za vsakega od modelov pridobili po tri asociacije in pripadajoče razlage, pri čemer je za vsak model nastalo 300 trojic iztočnica-asociacija-razlaga. Generiranje je enako kot pri človeških podatkih potekalo v dveh fazah, najprej smo pridobili asociacije in nato razlage. Navodila (ang. prompt) za generiranje so bila napisana v slovenščini in so sledila človeškim navodilom, z manjšimi prilagoditvami za usmerjanje odgovora modelov. Vsi trije modeli so bili uporabljeni z istimi parametri generiranja: temperatura (ang. temperature) 0,5; top-p 0,3; največja dolžina izhoda 120 znakov (ang. max tokens), odbitek ob pojavitvi tokena(ang. presence penalty) 0,5; odbitek ob ponavljanju tokena (ang. frequency penalty) 1,3 in začetna vrednost (ang. seed) 3. Pri označevanju semantičnih relacij smo za vodilo uporabili različico taksonomije WAX, objavljene na spletnem repozitoriju GitHub (Liu 2022), ki je v primerjavi s taksonomijo, objavljeno v članku (Liu et al 2022), nekoliko razširjena – namesto 16 relacij jih navaja 20. Slovensko shemo smo dodatno razširili z oznako ERROR, namenjeno primerom, v katerih besedna vrsta iztočnice ali asociacije v razlagalni povedi ni ohranjena, razlaga ni popolna ali pa je semantično nekoherentna. Naša končna shema za označevanje je vsebovala 21 oznak. Relacije smo označili na naključnem vzorcu 700 od skupno 1.200 trojic, ki smo jih pridobili od označevalcev, in vseh 300 trojic, ki smo jih pridobili za vsak jezikovni model. Označevanje je potekalo na platformi INCEpTION; vsak primer sta neodvisno označili dve osebi, tretja pa je opravila kuracijo. Za merjenje ujemanja med označevalci smo uporabili parni Cohenov kappa (Cohen 1960), ki smo ga izračunali ločeno za človeške in strojno generirane podatke. Rezultati Velikost besedišča, ki smo jo izmerili z razmerjem med različnicami in pojavnicami (ang. type-token ratio), je med viri primerljiva: za človeške podatke znaša 85 %, za Gemmo in GaMS 90 %, za Magistral pa 91 %. S to ugotovitvijo smo dokazali, da podobnosti (ali različnosti) s človeškim odzivanjem ne moremo ugotavljati le na podlagi leksikalne raznolikosti. Upoštevati pa je treba, da so uporabljeni parametri generiranja, zlasti kazen za visoko frekvenco, morda umetno povečali leksično raznolikost izhodnih podatkov modela, zato bi se rezultati, pridobljeni z drugačnimi nastavitvami, lahko razlikovali. Med primerjavo dolžine razlag smo med viri zaznali statistično značilne razlike. Človeške razlage so najkrajše in najdoslednejše (mediana = 6,0 besed; interkvartilni razmik (IKR) = 3,0), Magistral generira nekoliko daljše razlage (mediana = 7,0; IKR = 3,0), Gemma bistveno daljše (mediana = 9,0; IKR = 2,0), GaMS pa najdaljše in najmanj dosledne (mediana = 12,0; IKR = 5,0). Največje razlike med človeškimi in strojno generiranimi podatki se kažejo v porazdelitvi semantičnih relacij. Človeški odzivi so razporejeni po vseh 21 relacijskih razredih, pri čemer prevladuje razred »Action« (dejanje, ~14 %), sledijo pa mu »ResultIn« (rezultira, ~9 %), »Thematic« (tematsko, ~9 %) in »Location« (lokacija, ~8 %). Strojno generirani podatki pa zastopajo ožji nabor razredov, pri čemer je delež nepredvidljivih primerov (oznaka ERROR) bistveno višji: pri modelih Gemma in GaMS znaša okoli 29 %, pri Magistralu pa kar okoli 55 %. Razredi, povezani s pogostimi jezikovnimi vzorci, čustvenim vrednotenjem ali fonološkimi podobnostmi, kot so »CommonPhrase« (stalna besedna zveza), »EmotionEvaluation« (čustveno vrednotenje) in »SoundSimilarity« (zvočna podobnost), so v strojno generiranih podatkih sistematično manj zastopani oz. se sploh ne pojavljajo. Na ravni grobih relacijskih skupin pri ljudeh (~50 %) in pri Gemmi (~50 %) prevladujejo situacijske relacije, vendar se ta skupina manj pogosto pojavlja pri GaMS (~38 %) in bistveno manj pri Magistralu (~16 %). Jezikovne relacije so pri vseh treh modelih bistveno manj zastopane (~2–4 %) kot pri ljudeh (~16 %), skupina nič-od-naštetega, v katero spadata relaciji ERROR in »Other« (drugo), pa je pri modelih zastopana nesorazmerno visoko. Primerjava z angleško različico WAX je pokazala tako podobnosti kot razlike. Relacija »Action« (dejanje) je med najpogostejšimi razredi v obeh jezikih, kar kaže na določeno medjezikovno stabilnost asociativnih vzorcev. Po drugi strani so situacijske relacije pri slovenščini nekoliko pogostejše, taksonomske pa bistveno manj pogoste kot v angleščini, kar je delno posledica razlik v označevalni shemi, delno pa bi lahko bile odraz jezikovnih in kulturnih dejavnikov. Analiza nepredvidljivega vedenja jezikovnih modelov je pokazala kvalitativno drugačne vzorce kot pri človeških podatkih. Pri ljudeh so se neveljavni primeri pojavljali večinoma, ker je prišlo do napak mehanske narave, torej zamenjave besedne vrste, izpusta besede ali nedokončane povedi. Pri modelih je nabor neveljavnih primerov bistveno širši in vključuje generiranje besednih zvez oz. Phrase Error (GaMS in Magistral sta pogosto ignorirala navodilo ter generirala večbesedne asociacije), semantično nekoherentne povedi (slovnično pravilne, vendar nesmiselne), spreminjanje besednih vrst ter pri Magistralu tudi tako imenovane halucinacije, pri katerih je model reproduciral dele navodil, k razlagam dodajal alternativne ponazoritvene primere ali komentiral lastno generiranje. Ujemanje med označevalci je pri človeških podatkih primerljivo z izvirno angleško različico WAX (κ = 0,46 po Cohenovem kappi), pri strojno generiranih podatkih pa je bistveno nižje (κ = 0,32), kar odraža večjo dvoumnost in heterogenost strojno generiranih odgovorov. Razprava in zaključek Rezultati kažejo, da veliki jezikovni modeli odražajo kvalitativno drugačen način semantične organizacije od človeške. Človeške asociacije oblikujejo izkušnje, družbeni in kulturni kontekst ter praktično poznavanje sveta, strojne asociacije pa izhajajo predvsem iz regularnosti v besedilnih podatkih in zahtev generativnega procesa. Primerjava modelov je pokazala, da jezikovno specifično učenje samo po sebi ne zagotavlja vedenja, ki je bolj podobno človeškemu. GaMS, ki je bil razvit posebej za slovenščino, ni dosledno boljši od Gemme, kar kaže, da je kakovost uglaševanja za sledenje navodilom (ang. instruction-tuning) vsaj enako pomembna kot jezikovna specifičnost modela. Magistral, ki slovenščine uradno ne podpira, se je obnašal najbolj nepredvidljivo, kar je skladno s pričakovanji. Medjezikovna primerjava razkriva tako podobnosti kot razlike. V obeh jezikih prevladuje relacija »Action« (dejanje), kar kaže na skupen asociacijski vzorec. V slovenščini smo zaznali več situacijskih in vzročnih odnosov, v angleščini pa več sinonimnih – kar je delno mogoče pripisati razlikam v shemah za označevanje. Na splošno se izkaže, da je taksonomija WAX v slovenščini uporabna. Kljub vsemu pa ostaja nekaj omejitev. Slovenski nabor podatkov je manjši in manj urejen kot angleški, poleg tega pa omejena preglednost podatkov za učenje jezikovnih modelov omejuje interpretacijo njihovih rezultatov. Ujemanje med označevalci je za podatke, generirane z jezikovnimi modeli, nižje kot za človeške podatke, kar vnaša nekaj negotovosti v podrobne porazdelitve relacij. Upoštevati pa je treba tudi, da bi se lahko rezultati za strojno generirane podatke, pridobljeni z drugačnimi parametri generiranja, lahko razlikovali od rezultatov, ki smo jih pridobili v tej nalogi. Z magistrsko nalogo smo k področju digitalnega jezikoslovja prispevali tako, da smo ogrodje študije WAX prestavili na slovenščino in ustvarili podatkovno zbirko WAX-SL, v kateri so shranjene trojice iztočnica-asociacija-razlaga, ki so jih ustvarili udeleženci študije. Rezultati podpirajo nadaljnje preučevanje medjezikovnih razlik v asociativnih strukturah ter opozarjajo na pomen vključevanja manj zastopanih jezikov v evalvacijo jezikovnih modelov.20262026-07-10 07:15:20Magistrsko delo/naloga184558VisID: 617039sl