Does student engagement with chatbots enhance English proficiency?

Hastomo, Tommy (author)

This study examines how Indonesian university students’ engagement with chatbots influences their English proficiency. While AI tools are increasingly used in language education, little research focuses on chatbot interaction dynamics. The research assesses behavioural (active use), cognitive (perceived value), and emotional (attitudinal) engagement across 150 non-English majors at four proficiency levels (A1–B2). Data from engagement surveys and proficiency tests were analysed using ANOVA, correlation, and regression. Results indicated that higher-proficiency students (B1/B2) engaged more intensely with chatbots than their lower-level peers. Behavioural and cognitive engagement strongly correlated with improved language skills, while emotional engagement showed no significant link. Regression analysis identified behavioural and cognitive engagement as key predictors of proficiency gains, suggesting that active interaction and perceived utility of chatbots drive language development. The findings underscore chatbots’ potential as effective language-learning aids.

• Language: English
• Keywords: AI, chatbots, cognitive engagement, emotional engagement, English proficiency, Indonesian university students
• Work type: Article
• Typology: 1.01 - Original Scientific Article
• Organization: FF - Faculty of Arts
• Publication status: Published
• Publication version: Version of Record
• Publication date: 01.01.2025
• Year: 2025
• Number of pages: Str. 93-109
• Numbering: Vol. 22, no. 1
• PID: 20.500.12556/RUL-180617
• UDC: [811.111’243:378(594)]:004.89
• ISSN on article: 1581-8918
• DOI: 10.4312/elope.22.1.93-109
• COBISS.SI-ID: 271352323
• Publication date in RUL: 12.03.2026

Record is a part of a journal

• Title: ELOPE : English language overseas perspectives and enquiries
• Shortened title: ELOPE
• Publisher: Slovensko društvo za angleške študije, Slovensko društvo za angleške študije, Znanstvena založba Filozofske fakultete Univerze v Ljubljani, Založba Univerze v Ljubljani
• ISSN: 1581-8918
• COBISS.SI-ID: 212890112

Licences

• License: CC BY-SA 4.0, Creative Commons Attribution-ShareAlike 4.0 International
• Link: http://creativecommons.org/licenses/by-sa/4.0/
• Description: This Creative Commons license is very similar to the regular Attribution license, but requires the release of all derivative works under this same license.

Secondary language

• Language: Slovenian
• Title: Ali uporaba pogovornih sistemov prispeva k izboljšanju znanja angleščine pri študentih in študentkah?

Abstract

Študija preučuje vpliv uporabe pogovornih sistemov na znanje angleščine pri indonezijskih študentih in študentkah. Čeprav se ta orodja vse pogosteje uporabljajo pri učenju jezikov, je raziskav o njihovi interakciji malo. Raziskava zajema vedenjsko (aktivna uporaba), kognitivno (zaznana koristnost) in čustveno (odnosno) vključenost pri 150 sodelujočih, ki ne študirajo angleščine, na štirih ravneh znanja jezika (A1–B2). Podatki iz anket in testov znanja so analizirani s pomočjo ANOVA ter korelacijske in regresijske analize. Rezultati so pokazali, da študenti in študentke z višjo ravnjo znanja (B1/B2) pogosteje in intenzivneje uporabljajo pogovorne sisteme. Vedenjska in kognitivna vključenost močno korelirata z izboljšanjem jezikovnih spretnosti, medtem ko čustvena vključenost nima pomembnega vpliva. Regresijska analiza je pokazala, da sta vedenjska in kognitivna vključenost ključna napovednika napredka v znanju angleščine, kar kaže, da sta aktivna uporaba in zaznana koristnost pogovornih sistemov glavna dejavnika pri učenju jezika. Ugotovitve potrjujejo potencial pogovornih sistemov kot učinkovitih učnih pripomočkov.

• Keywords: umetna inteligenca, pogovorni sistemi, kognitivna vključenost, čustvena vključenost, znanje angleškega jezika, indonezijski študenti