AN INVESTIGATION ON THE EFFECTIVENESS OF CHATBOTS IN EVALUATING WRITING ASSIGNMENTS IN EFL CONTEXTS.
This study aims to explore the effectiveness of chatbots, specifically ChatGPT, in evaluating writing assignments. 51 English as a foreign language (EFL) learners from Türkiye took part in the study voluntarily. Based on a quasi-experimental research design, the study involved dividing the participa...
| Publicado en: | Mehmet Akif Ersoy University Journal of Education Faculty no. 72; pp. 295 - 330 |
|---|---|
| Autor principal: | |
| Formato: | Artículo |
| Publicado: |
Mehmet Akif Ersoy Universitesi Egitim Fakultesi Dergisi
eki2024
|
| Materias: | |
| Acceso en línea: | Ver este registro en EBSCOhost |
| fields | @attributes: recordID: 1 pdfLink: plink: https://search.ebscohost.com/login.aspx?direct=true&db=hlh&AN=180690540&site=ehost-live header: @attributes: shortDbName: hlh uiTerm: 180690540 longDbName: Humanities International Complete uiTag: AN controlInfo: bkinfo: jinfo: jid: 13028944 K25A jtl: Mehmet Akif Ersoy University Journal of Education Faculty issn: 13028944 maglogo: N pubinfo: dt: eki2024 iid: 72 pid: 25407 pub: Mehmet Akif Ersoy Universitesi Egitim Fakultesi Dergisi artinfo: ui: 180690540 10.21764/maeuefd.1425384 ppf: 295 ppct: 35 formats: fmt: @attributes: type: P size: 3MB tig: atl: AN INVESTIGATION ON THE EFFECTIVENESS OF CHATBOTS IN EVALUATING WRITING ASSIGNMENTS IN EFL CONTEXTS. aug: au: TOSCU, Saliha affil: Dr., Çankaya University, Department of Foreign Languages, Ankara, Türkiye su: Psychology of students ChatGPT Artificial intelligence Chatbots English as a foreign language sug: subj: Psychology of students ChatGPT Artificial intelligence Chatbots English as a foreign language keyword: EFL writing evaluation feedback değerlendirme geri bildirim Sohbet Robotları yabancı dil olarak İngilizce yazma ab: This study aims to explore the effectiveness of chatbots, specifically ChatGPT, in evaluating writing assignments. 51 English as a foreign language (EFL) learners from Türkiye took part in the study voluntarily. Based on a quasi-experimental research design, the study involved dividing the participants into two non-equivalent groups. The participants in the control group received feedback on their writing from a teacher, while the experimental group was given feedback by the ChatGPT. Thus, the research indicated how Artificial Intelligence (AI)-generated feedback was influential in evaluating writing assignments compared to human-generated feedback. The feedback given by the teacher and the ChatGPT was analyzed via a content analysis, and the results showed that the ChatGPT and the teacher feedback had differences in the language style, register, content, and accuracy. Besides, students' perceptions of the feedback were revealed through the Student Perceptions of Writing Feedback Scale of Marss (2016) and analyzed using Independent Samples t-Tests on the SPSS. The statistical tests indicated that the students' perceptions did not vary whether the feedback was AI or human-generated. This study suggests that AI-generated feedback can match human feedback in terms of students' perceptions. Still, the differences regarding feedback features show the strengths of a teacher and a bot for giving feedback by suggesting a more complementary role for AI technology in educational settings. Bu çalışma, sohbet botlarının, özellikle ChatGPT'in, yazma ödevlerini değerlendirmedeki etkinliğini ortaya çıkarmayı hedeflemektedir. Türkiye'deki özel bir okuldaki 51 yabancı dil olarak İngilizce öğrencisi çalışmaya gönüllü olarak katılmıştır. Yarı deneysel araştırma desenine dayalı olan çalışmada katılımcılar eşit olmayan iki gruba ayrılmıştır. Kontrol grubundaki katılımcıların yazma ödevlerine öğretmen, deney grubundakilere ChatGPT tarafından dönüt verilmiştir. Böylece, çalışma yapay zekâ tarafından üretilen geri bildirimin insan tarafından üretilen geri bildirimle karşılaştırıldığında yazma ödevlerini değerlendirmede etkinliğini göstermiştir. Öğretmen ve ChatGPT tarafından verilen dönüt içerik analizi yoluyla incelenmiştir ve sonuçlar ChatGPT ve öğretmen dönütü arasında dil stili, dil biçimi, içerik ve dil bilgisi doğruluğu konularında farklılıklar olduğunu göstermiştir. Ayrıca, çalışmada öğrencilerin geri bildirime yönelik algıları Marss'ın (2016) Öğrenci Yazma Geri Bildirim Algısı Ölçeği yoluyla ortaya çıkarılmıştır ve SPSS'te Bağımsız Grup t-Test kullanılarak analiz edilmiştir. İstatistiksel testler, öğrencilerin algılarının geri bildirimin yapay zekâ veya insan tarafından üretildiğinde değişmediğini göstermiştir. Bu çalışma, öğrenci algısı bakımından yapay zekâ teknolojisi ve insan geri bildiriminin eşleşebileceğini önermektedir, ancak dönütün özelliklerine ilişkin farklılıklar yapay zekâ teknolojisinin eğitim ortamlarında daha tamamlayıcı bir rol oynamasını önererek öğretmenin ve botun geri bildirim vermede güçlü yönlerini göstermektedir. pubtype: Academic Journal doctype: Article src: R language: English refInfo: copyright: @attributes: flag: Y custom: Copyright of Mehmet Akif Ersoy University Journal of Education Faculty is the property of Mehmet Akif Ersoy Universitesi Egitim Fakultesi Dergisi and its content may not be copied or emailed to multiple sites without the copyright holder's express written permission. Additionally, content may not be used with any artificial intelligence tools or machine learning technologies. However, users may print, download, or email articles for individual use. item: Mehmet Akif Ersoy University Journal of Education Faculty holder: Mehmet Akif Ersoy Universitesi Egitim Fakultesi Dergisi dt: @attributes: year: 2024 holdings: @attributes: islocal: N |
|---|