ChatGPT Menaikkan Nilai Tugas. Studi Bocconi Tidak Mengukur Pembelajaran
Uji coba terhadap 1.053 mahasiswa menemukan ChatGPT meningkatkan skor rekomendasi, tetapi metrik orisinalitasnya bersifat komputasional dan studi tersebut tidak mengukur pembelajaran berikutnya.
Memberi akses ChatGPT kepada mahasiswa meningkatkan skor kualitas pada tugas bisnis yang dirumuskan secara ketat. Latihan penalaran kausal yang singkat menghasilkan hal berbeda: latihan itu mendorong mahasiswa menuju gagasan yang lebih beragam, yang tidak dihargai oleh rubrik standar tugas tersebut.
Itulah hasil berguna dari eksperimen baru yang melibatkan 1.053 mahasiswa tahun pertama. Hasil ini bukan bukti bahwa ChatGPT meningkatkan pembelajaran. Uji coba tersebut mengukur satu output berbantuan yang dihasilkan dalam sekitar 45 menit; uji coba itu tidak menguji apa yang dipahami, diingat, atau dapat ditransfer mahasiswa ke tugas berikutnya tanpa model.
Pelajaran praktisnya berkaitan dengan pengukuran. Penilaian yang hanya mencatat jawaban akhir dapat memberi penghargaan pada polesan konvensional sambil melewatkan orisinalitas, penalaran, dan pemahaman mandiri. Pendidik—dan tim yang mengevaluasi pekerjaan pengetahuan berbantuan AI—membutuhkan ukuran terpisah untuk hasil-hasil tersebut.
Apa yang diacak oleh studi critical-thinking ChatGPT
Working paper bulan Agustus menjelaskan uji coba terkontrol acak 2×2 yang telah diprainregistrasi dan dilakukan pada November 2025. Peneliti menugaskan 13 kelas utuh dalam tiga program gelar ke salah satu dari empat kondisi. Ini adalah randomisasi cluster pada tingkat kelas, bukan randomisasi individu.
| Kelompok | N | Intervensi | Hasil |
|---|---|---|---|
| Kontrol | 249 | Permainan plasebo; tanpa ChatGPT | Baseline |
| Pelatihan kausal | 256 | Permainan penalaran; tanpa ChatGPT | Gagasan lebih beragam; skor rubrik tidak lebih tinggi |
| ChatGPT | 197 | GPT-4o tersedia | Perkiraan skor rubrik naik 0,862 poin |
| Keduanya | 351 | Pelatihan dan GPT-4o tersedia | Mempertahankan sebagian besar pola khas masing-masing |
Semua mahasiswa kemudian menerima kasus bisnis yang sama: menulis sekitar 180 kata untuk merekomendasikan cara meningkatkan awareness alumni dan penggunaan toko merchandise universitas. Dua puluh mahasiswa magister terlatih menilai setiap respons, dengan tiga penilai per submission, menggunakan rubrik lima poin yang diturunkan dari dua konsep pemasaran—awareness dan usage. Tiga ahli domain juga memberikan rekomendasi rujukan.
Unit tugasnya penting. Yang diacak adalah 13 kelas, bukan 1.053 mahasiswa individu. Penulis mengelompokkan standard error dan menambahkan kontrol untuk variabel yang gagal dalam pemeriksaan keseimbangan, tetapi desain ini tetap memiliki jauh lebih sedikit unit penugasan independen daripada jumlah mahasiswa yang disiratkan judul. Di antara peserta yang diberi akses GPT, 90,5% melaporkan mematuhi treatment yang ditugaskan.
Laporan OpenAI dan laporan Bocconi mengidentifikasi universitas tersebut sebagai Bocconi. Paper itu sendiri menyebutnya sebagai universitas Eropa terkemuka dan menyembunyikan nama serta nomor registri uji coba American Economic Association untuk menjaga anonimitas. Lampirannya kemudian memuat teks tugas khusus Bocconi. Ini adalah celah dokumentasi dan reproduktibilitas, bukan bukti bahwa lokasi uji cobanya berbeda.
Kenaikan 0,862 poin hanya berlaku untuk satu rubrik
Akses ChatGPT meningkatkan skor awareness dan usage yang diperkirakan sebesar 0,862 poin dibandingkan skor kontrol yang diperkirakan sebesar 2,09. Pada skala lima poin, ini merupakan efek yang substansial untuk tugas yang diuji. Rekomendasi berbantuan ChatGPT juga menjadi lebih dekat dengan tiga teks ahli.
Analisis statistik paper tersebut mengaitkan sebagian kenaikan dengan lebih banyak gagasan, logika yang lebih jelas, dan fitur tekstual lain. Sekitar sepertiga efek tetap ada setelah kumpulan kontrol teks yang paling lengkap diterapkan. Peneliti menafsirkan sisa efek itu sebagai peningkatan substansi rekomendasi, bukan sekadar penyajiannya.
Temuan itu tetap memiliki batas yang tegas: “substansi” di sini berarti rekomendasi yang lebih kuat menurut evaluasi awareness dan usage yang dipakai eksperimen. Uji coba tersebut tidak menguji ingatan faktual, pengetahuan bisnis yang bertahan, penalaran mandiri setelah ChatGPT dihapus, atau performa pada jenis masalah baru. Skor tugas yang lebih tinggi tidak dapat membawa klaim-klaim itu.
Intervensi tersebut juga menggunakan GPT-4o melalui ChatGPT Edu. Hasil dari satu model, lingkungan akun, mata kuliah, dan tugas tidak boleh ditransfer ke model yang lebih baru atau disiplin lain tanpa pengujian lain.
Orisinalitas adalah jarak yang dihitung, bukan nilai kreativitas
Latihan penalaran kausal mengajarkan mahasiswa membangun rantai sebab-akibat, menyatakan kondisi yang dapat memfalsifikasi proposal, dan mengidentifikasi mekanisme yang akan membuatnya berhasil. Mahasiswa yang menerima latihan tersebut menggunakan lebih banyak penalaran berbasis mekanisme dan dapat difalsifikasi. Gagasan mereka juga lebih beragam di dalam setiap jawaban dan lebih berbeda dari gagasan mahasiswa lain.
Rubrik pemasaran standar tidak memberi penghargaan untuk perubahan itu. Dalam model paper, jawaban yang lebih jauh dari ruang solusi tipikal dapat menerima skor lebih rendah. Ini menjelaskan mengapa pelatihan dapat mengubah penalaran dan himpunan gagasan tanpa meningkatkan nilai tugas utama.
“Orisinalitas” memerlukan kualifikasi tersendiri. Penilai manusia tidak secara langsung menilai nilai kreatif. Lampiran menjelaskan pipeline komputasional multi-tahap:
- GPT-5.2 mengekstrak gagasan kandidat berulang kali dengan tiga varian prompt.
- Run yang berulang direkonsiliasi, dengan pasangan yang tidak pasti dinilai oleh GPT-5.2 dan Claude Opus 4.6.
- Gagasan yang dikonfirmasi di-embedding menggunakan model
text-embedding-3-largemilik OpenAI. - Jarak kosinus mengukur seberapa jauh gagasan satu sama lain di dalam dan antar-submission.
Ini adalah ukuran operasional keragaman semantik yang diungkapkan dan cukup rumit. Ukuran ini dapat mendeteksi perbedaan dalam teks; ukuran ini tidak menetapkan bahwa sebuah gagasan berguna, layak, mengejutkan bagi ahli domain, atau benar-benar baru di luar kelas tersebut. Karena model OpenAI berpartisipasi dalam pipeline ekstraksi, penilaian, dan embedding, replikasi independen juga harus menguji apakah hasilnya bertahan jika menggunakan model berbeda dan penilaian orisinalitas oleh manusia.
Apakah eksperimen menunjukkan bahwa mahasiswa belajar lebih banyak?
Tidak. Eksperimen itu menunjukkan bahwa akses ChatGPT meningkatkan rekomendasi yang telah selesai di bawah rubrik tertentu, sementara pelatihan penalaran kausal meningkatkan properti lain yang diukur dari rekomendasi tersebut.
Pembelajaran membutuhkan observasi lain setelah bantuan berakhir. Misalnya, evaluator dapat meminta mahasiswa menjelaskan model kausalnya, mengkritik proposal yang tidak dikenal, mereproduksi penalaran setelah jeda, atau menyelesaikan masalah yang strukturnya berbeda tanpa ChatGPT. Eksperimen Bocconi tidak melakukan hal-hal tersebut.
Tahap yang hilang ini penting karena performa berbantuan dan pembelajaran dapat bergerak ke arah yang berbeda. Dalam eksperimen lapangan peer-reviewed terpisah yang melibatkan matematika sekolah menengah, peneliti menemukan akses GPT-4 meningkatkan performa latihan, tetapi mahasiswa yang menggunakan asisten tanpa batas kemudian mendapat skor 17% lebih rendah daripada kelompok kontrol pada ujian tanpa bantuan. Tutor yang dirancang untuk memberi petunjuk, bukan jawaban, sebagian besar mengurangi kehilangan itu. Paper PNAS menguji kelompok usia, mata pelajaran, desain tool, dan hasil yang berbeda, sehingga bukan replikasi atau sanggahan. Paper itu menunjukkan mengapa artefak berbantuan tidak dapat menggantikan pengukuran pembelajaran berikutnya.
Studi baru ini saat ini merupakan working paper yang didistribusikan melalui kanal OpenAI. Pemindaian sumber pada 28 Agustus tidak menemukan publikasi peer-reviewed atau replikasi independen. Rekonstruksi terpisah oleh Next AI Press mencapai peringatan ruang lingkup utama yang sama: hasilnya berkaitan dengan satu tugas dan ukuran komputasional, bukan pembelajaran sepanjang mata kuliah.
OpenAI juga berpartisipasi dalam riset tersebut. Daftar penulis mencakup peneliti OpenAI saat ini, seorang kontributor yang mengerjakan proyek ketika bekerja di OpenAI, dan kontraktor OpenAI berbayar. Afiliasi tersebut tidak membatalkan eksperimen, tetapi membuat replikasi independen dan catatan praregistrasi publik menjadi sangat berharga.
Hasil terpenting studi ini adalah ukuran pembelajaran yang hilang
Uji coba ini memisahkan kualitas output, penalaran kausal, dan ukuran orisinalitas komputasional dengan cukup baik untuk menunjukkan bahwa treatment menggerakkan ketiganya secara berbeda. Namun, uji coba tidak mengamati apa yang dapat dipertahankan atau ditransfer mahasiswa setelah ChatGPT dihapus.
Ketiadaan itu tidak membatalkan kenaikan output 0,862 poin yang dilaporkan. Ketiadaan itu membatasi klaim pada artefak berbantuan yang dihasilkan di bawah satu rubrik. Tugas yang ditunda, tidak dikenal, dan tanpa bantuan akan menjawab pertanyaan lain yang lebih penting secara pendidikan.
Karena itu, studi ini mendukung kesimpulan moderat: ChatGPT membantu mahasiswa menghasilkan rekomendasi yang lebih kuat dalam situasi ini, sementara intervensi penalaran kausal mengubah aspek pekerjaan yang tidak dihargai rubrik utama. Studi ini tidak menunjukkan bahwa salah satu kelompok menjadi pemikir mandiri yang lebih baik.