- Anthropic menganalisis 1 juta data percakapan anonim yang terjadi di Claude.ai untuk meneliti bagaimana mahasiswa memanfaatkan AI dalam lingkungan pendidikan nyata
- Ini merupakan analisis penggunaan nyata berskala besar pertama yang melengkapi keterbatasan studi berbasis survei atau eksperimen yang sudah ada
Ringkasan temuan utama
- Mahasiswa bidang STEM paling aktif mengadopsi Claude, dan khususnya jurusan Computer Science menyumbang 36,8% dari seluruh percakapan (sementara porsi gelar di AS hanya 5,4%)
- Cara mahasiswa menggunakan AI terbagi ke dalam empat tipe: pemecahan masalah langsung, pembuatan output langsung, pemecahan masalah kolaboratif, pembuatan output kolaboratif
- Sebagian besar mahasiswa memanfaatkan Claude untuk fungsi kognitif tingkat tinggi seperti 'Creating' dan 'Analyzing'
- Ini termasuk tahap atas dalam taksonomi tujuan pendidikan Bloom, sehingga muncul kekhawatiran bahwa ketergantungan pada AI dapat melemahkan kemampuan berpikir kritis
Cara mengidentifikasi pola penggunaan AI untuk pendidikan
- Anthropic menggunakan alat analisis internal bernama Clio untuk mengelompokkan percakapan Claude berdasarkan topik, menghapus informasi pribadi, lalu mengagregasikannya
- Dari 1 juta percakapan, 574.740 diidentifikasi sebagai percakapan yang berhubungan langsung dengan studi atau riset
- Clio menganalisis percakapan dengan mengklasifikasikannya secara otomatis ke konsep tingkat atas seperti 'debugging kode' dan 'penjelasan konsep ekonomi'
Tujuan mahasiswa menggunakan Claude
- 39,3% dari seluruh percakapan digunakan untuk membuat dan meningkatkan konten pendidikan (misalnya membuat soal latihan, menyunting esai, merangkum, dan sebagainya)
- 33,5% digunakan untuk menyelesaikan tugas dan penjelasan teknis (misalnya debugging kode, implementasi algoritma, pemecahan soal matematika, dan sebagainya)
- Tujuan penggunaan lainnya:
- Analisis dan visualisasi data: 11,0%
- Perancangan riset dan pengembangan alat: 6,5%
- Pembuatan diagram teknis: 3,2%
- Terjemahan dan koreksi bahasa: 2,4%
Perbandingan proporsi penggunaan Claude menurut bidang studi
- Jurusan yang digunakan secara berlebihan:
- Computer Science: porsi gelar 5,4% → porsi percakapan 38,6%
- Ilmu alam dan matematika: porsi gelar 9,2% → porsi percakapan 15,2%
- Jurusan yang relatif kurang menggunakan:
- Business: 18,6% → 8,9%
- Health Professions: 13,1% → 5,5%
- Humanities: 12,5% → 6,4%
- Mahasiswa STEM mengadopsi Claude dengan cepat
Analisis jenis interaksi mahasiswa-AI
- Empat jenis interaksi didefinisikan berdasarkan dua sumbu:
- langsung vs kolaboratif (mendapatkan jawaban cepat vs kolaborasi percakapan dengan AI)
- pemecahan masalah vs pembuatan output (memberi solusi atas pertanyaan vs menghasilkan output seperti esai)
- Keempat jenis ini masing-masing mencakup 23–29% dari seluruh percakapan, sehingga distribusinya cukup merata
- Contoh pembelajaran yang positif:
- Penjelasan konsep filsafat
- Pembuatan materi ajar kimia
- Penjelasan konsep anatomi otot
Potensi kecurangan dengan bantuan AI
- Sekitar 47% percakapan berupa interaksi langsung, sehingga ada potensi kecurangan
- Contoh: meminta jawaban soal machine learning, meminta jawaban ujian, menulis ulang kalimat untuk menghindari plagiarisme
- Percakapan kolaboratif juga bisa memberi kontribusi belajar yang rendah
- Contoh: meminta penyelesaian soal PR statistika, dan sebagainya
Pola interaksi menurut jurusan
- Ilmu alam dan matematika: berfokus pada pemecahan masalah (misalnya meminta penjelasan langkah demi langkah)
- Computer Engineering, engineering, dan ilmu alam: lebih menyukai interaksi kolaboratif
- Humanities, business, dan bidang kesehatan: seimbang antara interaksi langsung dan kolaboratif
- Jurusan pendidikan: memiliki proporsi pembuatan output tertinggi (74,4%)
- Termasuk kasus guru menggunakan Claude untuk menyiapkan materi pembelajaran dan rencana pelajaran
Analisis tugas kognitif yang didelegasikan mahasiswa ke AI
- Analisis fungsi kognitif yang dilakukan Claude berdasarkan Bloom’s Taxonomy
- Proporsi tugas kognitif tingkat tinggi:
- Creating: 39,8%
- Analyzing: 30,2%
- Proporsi tugas kognitif tingkat rendah:
- Applying: 10,9%
- Understanding: 10,0%
- Remembering: 1,8%
- Fakta bahwa AI generatif dapat melakukan fungsi berpikir tingkat tinggi bermakna penting secara pendidikan, tetapi juga berpotensi menurunkan kemampuan peserta didik
Keterbatasan penelitian
- Data kemungkinan besar didominasi oleh para pengguna awal
- Penggunaan berbagai AI selain Claude tidak tercermin
- Sebagian data mungkin merupakan percakapan dosen atau staf
- Perbedaan penggunaan menurut waktu dalam semester tidak tercermin
- Tidak dianalisis apakah output AI benar-benar berkontribusi pada hasil belajar nyata
- Kasus penggunaan lintas disiplin tidak terklasifikasi
- Ada keterbatasan dalam menerapkan kerangka klasifikasi Bloom pada AI
Kesimpulan dan tugas ke depan
- AI menawarkan banyak kemungkinan untuk pembelajaran, tetapi juga menimbulkan tantangan besar dalam aspek berpikir kritis dan etika belajar
- Pertanyaan kunci:
- Bagaimana memastikan mahasiswa tetap memiliki kemampuan kognitif dasar di era AI?
- Bagaimana mendefinisikan ulang standar ujian dan evaluasi?
- Apa makna pembelajaran di era ketika AI dapat menulis esai dan menyelesaikan masalah kompleks?
- Claude sudah digunakan sebagai alat pembelajaran yang bermakna di lingkungan pendidikan, dan kerja sama dengan pendidik juga akan diperluas
Pendekatan pendidikan Anthropic
- Melalui kerja sama dengan universitas, Anthropic terus meneliti peran pendidikan AI
- Sedang bereksperimen dengan 'Learning Mode' yang berfokus pada pemahaman konsep alih-alih memberikan jawaban langsung
- Ke depan, Anthropic berencana meneliti lebih dalam bagaimana AI memengaruhi pembelajaran
1 komentar
Opini Hacker News