Evaluating ChatGPT in relation to its effectiveness for argumentative essay writing

Ljubojevic, Danijela (author)

The rapid advances in artificial intelligence, particularly in language models like ChatGPT, have led educators to re-evaluate traditional teaching methods, especially regarding essay writing assignments. Teachers express growing concern that AI-generated essays could compromise the essence of student writing, potentially diminishing critical skills such as deeper analysis and personal expression. This case study explores an innovative approach to integrating ChatGPT within the classroom by making use of the flipped learning model and sentence skeletons technique. For the purpose of this research four argumentative es-says were generated by ChatGPT. These essays were assessed by four independent teachers using a structured checklist. The checklist focused on essay structure, cohesion and coher-ence, argument presentation, vocabulary use, and grammatical accuracy, and the intellectual standards necessary for critical thinking, such as clarity, precision, accuracy, depth, breadth, logic, significance, relevance, and fairness. The results revealed that ChatGPT excels in essay writing in terms of essay structure, developing an appropriate introduction, body, and conclusion. It generates high-quality argumentative essays, rich in vocabulary (C1–C2 CEFR level), and text linking (numerous transitions signals and linkers). On the other hand, these essays did not follow word limit requirements, write a funnel introduction/paragraph, provide opposing arguments, and give personal opinions. When it comes to the element of critical thinking, the generated essays lacked depth, breadth, and fairness. Nevertheless, the findings indicate that ChatGPT holds potential as a valuable tool for improving student engagement in writing and fostering critical thinking skills. The case study suggests that ChatGPT can be more than just a text generator; it can serve as an interactive resource for students to analyse and learn from model arguments (sentence skeletons), in-creasing their understanding of cohesive essay structure and logical reasoning. Overall, these insights propose a dual role for ChatGPT in educational settings – not merely as a source of content, but as a catalyst for developing essential academic skills.

• Language: English
• Keywords: ELT, ChatGPT, essay writing, argumentative essays, critical thinking
• Work type: Article
• Typology: 1.01 - Original Scientific Article
• Organization: FF - Faculty of Arts
• Publication status: Published
• Publication version: Version of Record
• Publication date: 26.12.2025
• Year: 2025
• Number of pages: Str. 301-322
• Numbering: Letn. 17, št. 1
• PID: 20.500.12556/RUL-179107
• UDC: [811.111'243:37.091.3]:[808.1:004.89]
• ISSN on article: 2350-4269
• DOI: 10.4312/vestnik.17.301-322
• COBISS.SI-ID: 266969859
• Publication date in RUL: 05.02.2026

Record is a part of a journal

• Title: Vestnik za tuje jezike = Journal for foreign languages
• Publisher: Založba Univerze v Ljubljani
• ISSN: 2350-4269
• COBISS.SI-ID: 269600256

Licences

• License: CC BY-SA 4.0, Creative Commons Attribution-ShareAlike 4.0 International
• Link: http://creativecommons.org/licenses/by-sa/4.0/
• Description: This Creative Commons license is very similar to the regular Attribution license, but requires the release of all derivative works under this same license.

Secondary language

• Language: Slovenian
• Title: Ocenjevanje učinkovitosti ChatGPT-ja pri pisanju argumentativnih esejev

Abstract

Hiter napredek na področju umetne inteligence, zlasti jezikovnih modelov, kot je Chat-GPT, je učitelje spodbudil k ponovnemu razmisleku o tradicionalnih učnih metodah, še posebej pri nalogah pisanja esejev v angleščini. Učitelji izražajo vse večjo zaskrbljenost, da bi lahko eseji, ki jih ustvari umetna inteligenca, ogrozili bistvo avtonomnega pisanja učencev. To bi lahko zavrlo razvoj ključnih veščin, kot sta poglobljena analiza in osebno izražanje. V prispevku proučujemo inovativen pristop k uvajanju rabe Chat-GPT-ja v razredu s pomočjo modela obrnjenega učenja in tehnike stavčnega ogrodja. Za namen te raziskave so štiri argumentativne eseje, ki jih je ustvaril ChatGPT, ocenili štirje neodvisni učitelji s pomočjo strukturiranega kontrolnega seznama. Slednji se je osredotočal na zgradbo eseja, kohezijo in koherenco, predstavitev argumentov, rabo besedišča in slovnično natančnost ter na intelektualne standarde, potrebne za kritično mišljenje, kot so jasnost, točnost, natančnost, globina, širina, logičnost, pomen, relevantnost in pravičnost. Rezultati so pokazali, da so eseji, ki jih ustvarja ChatGPT, odlični z vidika strukture ter primernosti uvoda, jedra in zaključka. Gre za visokokakovostne argumentativne eseje z bogatim besediščem (na ravni C1–C2) in številnimi povezovalnimi besedami (označevalci prehodov in vezniki). Po drugi strani v teh esejih ni upoštevana omejitev števila besed, v uvodu in posameznih odstavkih ni prehoda od splošnega h konkretnemu, poleg tega pa niso predstavljeni niti nasprotujoči si ar-gumenti ali osebna mnenja. Z vidika kritičnega mišljenja tovrstni eseji kažejo na pomanjkanje globine, širine in pravičnosti. Kljub temu ugotavljamo, da ChatGPT lahko postane dragoceno orodje za izboljšanje zavzetosti učencev za pisanje in spodbujanje kritičnega mišljenja. Naša študija primera kaže, da je ChatGPT lahko več kot generator besedil: lahko je interaktivni vir, s pomočjo katerega učenci analizirajo zglede argumentov (stavčnih ogrodij) in se iz njih učijo, kar lahko izboljša njihovo razumevanje kohezivne strukture esejev in logično mišljenje. Na splošno izsledki raziskave kažejo na dvojno vlogo ChatGPT-ja v izobraževanju – je vir vsebine, pa tudi orodje za razvoj ključnih akademskih veščin.

• Keywords: poučevanje angleščine, ChatGPT, pisanje esejev, argumentativni eseji, kritično mišljenje