Tingkat Akurasi Model AI ChatGPT dalam menyelesaikan Evaluasi Pembelajaran pada Massive Open Online Course

Abstract

Pembelajaran berbasis web melalui Massive Open Online Course (MOOC) telah terbukti menjadi solusi efektif untuk menyediakan akses pembelajaran yang lebih fleksibel tanpa batasan waktu, tempat dan jumlah peserta. Namun, tantangan terbesar dalam penerapan MOOC terletak pada evaluasi pembelajaran yang digunakan. Evaluasi sumatif berupa soal pilihan ganda menjadi instrumen yang paling banyak digunakan untuk mengukur hasil belajar pada platform pembelajaran MOOC. Pebelajar akan mendapatkan sertifikat kelulusan setelah mengerjakan soal diakhir kursus. Padahal, kehadiran kecerdasan buatan seperti ChatGPT membawa ancaman dan membuka potensi kecurangan. Saat ini, pebelajar dapat dengan mudah mengerjakan evaluasi akhir tanpa harus mempelajari materi terlebih dahulu. Penelitian ini bertujuan untuk mengukur tingkat akurasi ChatGPT-4o dalam menyelesaikan evaluasi pembelajaran pada MOOC dengan area subjek materi manajerial Core Value ASN. Topik tersebut menarik karena menjadi salah satu syarat wajib yang harus ditempuh CASN untuk menjadi ASN. Metode penelitian menggunakan metode eksperimental dimana peneliti melakukan pengujian secara langsung. Peneliti menggunakan 3 akun Chat GPT-4o versi gratis untuk mengerjakan 8 kursus hanya dengan 1x percobaan. Tidak ada perintah khusus, soal dan jawaban disalin kedalam aplikasi kemudian menginputkan jawabannya pada platform MOOC. Hasil penelitian menunjukkan bahwa tingkat akurasi ChatGPT-4o adalah sebasar 87,5%. Prosentase tersebut tergolong tinggi, artinya setiap pebelajar dapat menyelesaikan pembelajaran cukup dengan 1x percobaan saja. Kesimpulannya, ChatGPT-4o terbukti memiliki potensi cukup signifikan untuk menjawab soal. Rekomendasi temuan ini adalah dengan melakukan tindakan diantaranya 1) menggunakan soal berupa gambar, 2) membatasi navigasi serta mencegah perpindahan tab browser laman MOOC untuk menghindari kecurangan, dan 3) gunakan soal studi kasus yang dilengkapi dengan materi konseptual. Selain itu, peneliti menyarankan bahwa perlu dilakukan penelitian lanjutan terkait desain evaluasi pembelajaran yang mampu meminimalisir kecurangan pemanfaatan model AI ChatGPT-4o dalam pembelajaran MOOC.