Appraisal analysis and AI chatbots : do we even need humans?

Križan, Agata (avtor), Barbič, Aja (avtor)

Artificial intelligence (AI) is rapidly transforming various fields, including linguistics, by offering new tools for the analysis and generation of human language. As AI tools, particularly chatbots, have become increasingly sophisticated, questions have arisen about their capacity to replicate complex human linguistic processes, such as those covered by the appraisal framework developed by Martin and White (2005). The appraisal framework examines how three main categories – attitude, graduation, and engagement – are expressed in discourse at the semantic level. This paper investigates how AI chatbots, MS Copilot, ChatGPT, and Claude approach appraisal analysis in a selected text, highlighting similarities and notable differences in comparison to human analysis. The findings, although based on analysis of a single text, provide valuable insights into the advantages and drawbacks of AI in mimicking human-like appraisal analysis, which might be beneficial when conducting appraisal research.

• Jezik: Angleški jezik
• Ključne besede: appraisals, human and AI comparative analyses, ChatGPT, MS Copilot, Claude
• Vrsta gradiva: Članek v reviji
• Tipologija: 1.01 - Izvirni znanstveni članek
• Organizacija: FF - Filozofska fakulteta
• Status publikacije: Objavljeno
• Različica publikacije: Objavljena publikacija
• Datum objave: 01.01.2025
• Leto izida: 2025
• Št. strani: Str. 35-52
• Številčenje: Vol. 22, no. 1
• PID: 20.500.12556/RUL-180370
• UDK: 81:004.89
• ISSN pri članku: 1581-8918
• DOI: 10.4312/elope.22.1.35-52
• COBISS.SI-ID: 241708035
• Datum objave v RUL: 06.03.2026

Gradivo je del revije

• Naslov: ELOPE : English language overseas perspectives and enquiries
• Skrajšan naslov: ELOPE
• Založnik: Slovensko društvo za angleške študije, Slovensko društvo za angleške študije, Znanstvena založba Filozofske fakultete Univerze v Ljubljani, Založba Univerze v Ljubljani
• ISSN: 1581-8918
• COBISS.SI-ID: 212890112

Licence

• Licenca: CC BY-SA 4.0, Creative Commons Priznanje avtorstva-Deljenje pod enakimi pogoji 4.0 Mednarodna
• Povezava: http://creativecommons.org/licenses/by-sa/4.0/deed.sl
• Opis: Ta licenca Creative Commons je zelo podobna običajni licenci Priznanje avtorstva, vendar zahteva, da so materialne avtorske pravice na izpeljanih delih upravljane z enako licenco.

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Analiza jezika vrednotenja in pogovorni sistemi : ali ljudi sploh potrebujemo?

Izvleček

Umetna inteligenca hitro preoblikuje različna področja, vključno z jezikoslovjem, tako da ponuja nova orodja za analizo in ustvarjanje človeškega jezika. Ker postajajo orodja umetne inteligence, zlasti pogovorni sistemi, vse bolj izpopolnjena, se pojavljajo vprašanja o njihovi sposobnosti ponovitve kompleksnih človeških jezikovnih procesov, kot so tisti zajeti v jeziku vrednotenja, ki sta ga razvila Martin in White (2005). Okvir jezika vrednotenja preučuje, kako se v diskurzu izražajo tri glavne kategorije – odnos, stopnjevanje odnosov in vključenost – na semantični stopnji. Članek raziskuje kako pogovorni sistemi, MS Copilot, ChatGPT in Claude pristopijo k analizi jezika vrednotenja v izbranem besedilu, tako da osvetli podobnosti kot tudi pomembne razlike skozi primerjavo s človeško analizo. Ugotovitve, čeprav temeljijo na enem izbranem besedilu, omogočijo dragoceni vpogled v prednosti in pomanjkljivosti umetne inteligence pri posnemanju človeške jezikovne analize, kar je lahko koristno pri raziskovanju jezika vrednotenja.

• Ključne besede: jezik vrednotenja, primerjalne analize, umetna inteligenca, ChatGPT, MS Copilot, Claude