Mengelola ujian universitas di era chatbot

• Dalam ujian mata kuliah strategi open source, dicoba format ujian nontradisional yang mengizinkan akses internet dan penggunaan materi sepenuhnya untuk mendorong mahasiswa belajar secara mandiri
• Mahasiswa diminta memilih lebih dulu apakah akan menggunakan chatbot, dan jika digunakan maka wajib mencantumkan sumber, membuka prompt, dan menganalisis kesalahan
• Dari 60 mahasiswa, 57 tidak menggunakan chatbot, dan secara umum nilai mereka menunjukkan kecenderungan bahwa kelompok nonpengguna lebih unggul
• Mahasiswa cenderung enggan memakai chatbot karena takut dianggap berbuat curang dan karena persepsi mereka terhadap kriteria penilaian dosen
• Dosen menggunakan berkas stream of consciousness untuk memahami proses berpikir mahasiswa, serta menekankan pentingnya memperkuat kemampuan berpikir sendiri dibanding mengandalkan chatbot

---

Cara ujian dijalankan

• Ujian disusun dengan aturan terbuka, seperti semua materi dan internet boleh digunakan, tanpa batas waktu, diskusi antarmahasiswa diperbolehkan, dan mahasiswa boleh menyusun soal mereka sendiri
  • Mahasiswa juga bebas memilih pakaian ujian, dari busana tradisional hingga kostum jenaka
• Pendekatan ini bertujuan menjadikan ujian sebagai perpanjangan dari proses belajar dan mengurangi ketegangan

Skema pilihan penggunaan chatbot

• Sebelum ujian, mahasiswa harus secara eksplisit memilih apakah akan menggunakan chatbot
  • Opsi A: tidak memakai chatbot; bila digunakan akan dianggap curang
  • Opsi B: chatbot boleh dipakai, tetapi setiap penggunaan harus disertai sumber, prompt, dan analisis kesalahan
• Kesalahan chatbot diperlakukan sebagai faktor pengurang nilai yang lebih besar daripada kesalahan manusia, dan pengguna harus bertanggung jawab atas hasilnya

Pilihan mahasiswa dan distribusi nilai

• Dari 60 mahasiswa, 57 tidak menggunakan chatbot
  • Kelompok preferensi pribadi: mengutamakan pembelajaran mandiri, nilai 15~19
  • Kelompok nonpengguna: tidak suka berinteraksi dengan chatbot, rata-rata 13
  • Kelompok pragmatis: menilai chatbot tidak perlu untuk karakter ujian ini, nilai 12~16
  • Kelompok pengguna berat: menjadi bingung karena ketergantungan pada chatbot, kebanyakan mendapat 8~11
• Dari 3 mahasiswa yang memilih memakai chatbot
  • 1 orang lupa benar-benar menggunakannya
  • 1 orang menggunakannya secara minimal untuk mengecek konsep
  • 1 orang justru mengalami penurunan pemahaman karena pengaturan LLM yang rumit (bertanya ke satu LLM lalu meminta konfirmasi ke LLM lain)
    • Saat diajak berdiskusi tanpa chatbot, pemahamannya sebenarnya memadai, tetapi keluaran chatbot justru membuatnya semakin tidak paham. Dalam kasus ini, chatbot malah merugikannya

Persepsi antargenerasi tentang kecurangan

• Sebagian besar mahasiswa tidak mempercayai chatbot atau takut disalahpahami sebagai pelaku kecurangan
• Sebagian mahasiswa bahkan khawatir fitur jawaban otomatis buatan Google pun bisa dianggap curang
• Dalam sistem universitas saat ini, ada sanksi berat seperti larangan memasuki kampus hingga 3 tahun bila melakukan kecurangan
• Dosen menyatakan terkejut bahwa, tidak seperti generasi sebelumnya, mahasiswa kini bahkan enggan bekerja sama sebelum ujian

Eksperimen berkas stream of consciousness

• Mahasiswa diminta mencatat pikiran mereka secara real time selama ujian
  • Tidak boleh menyunting atau menghapus, tidak boleh menyalin, hanya URL yang diperbolehkan
  • Penggunaan chatbot dilarang; yang dicatat hanya pemikiran mereka sendiri
• Dari 60 mahasiswa, 55 mengumpulkan, dan 24 berhasil mengirimkannya lewat git-send-email
• Catatan ini memungkinkan dosen memahami stres dan proses berpikir mahasiswa
  • Sebagian mahasiswa mengungkapkan bahwa dengan menulis, pemahaman mereka atas soal menjadi lebih jelas dan kecemasan mereka berkurang
  • Melalui berkas ini, dosen dapat membantu mahasiswa yang sebenarnya paham tetapi kurang mampu mengekspresikannya

Kesimpulan dan filosofi pendidikan

• Dosen berencana mempertahankan pendekatan ini tahun depan
• Yang penting dari chatbot adalah kemampuan memanfaatkannya sebagai alat, dan jika seseorang bisa menanganinya dengan baik, maka belum tentu benar-benar membutuhkannya
• Masalah yang sesungguhnya bukan teknologinya, melainkan penghancuran infrastruktur lama dan sistem yang tidak efisien oleh generasi lama
  • Penggunaan Outlook memperburuk pengalaman email, dan mahasiswa menyebut email sebagai “folder spam rektor”
  • Banyak mahasiswa bahkan tidak mengetahui perbedaan antara Git dan GitHub, sebagai akibat dari lingkungan yang bergantung pada Microsoft
• Dosen menyampaikan pesan kepada mahasiswa: “Belajarlah lebih cepat dan lebih dalam daripada generasi saya”, sambil menekankan kemajuan pembelajaran lintas generasi dan pewarisan pemikiran kritis

[GN⁺]

Komentar Hacker News

• 10 tahun lalu, ujian ditulis tangan secara langsung, dan internet maupun LLM belum ada
  Sampai sekarang pun cara itu masih cukup efektif. Jika yang dinilai bukan kemampuan mahasiswa mencari di Google, menurut saya tidak ada alasan khusus untuk memakai metode lain

  • Saya juga kembali ke ujian kertas di kelas. Perangkat digital dilarang, dan penilaian dibagi ke 7 kuis singkat. Porsi proyek saya turunkan menjadi 50%. Karena sulit memastikan apakah benar mahasiswa mengerjakannya sendiri
  • Masalahnya adalah kurangnya waktu untuk menilai. Kadang saya harus memeriksa 20 halaman dalam 15 menit. Jadi saya sederhanakan menjadi soal pilihan ganda, diagram, dan perhitungan. Ada juga banyak mahasiswa yang tulis tangannya benar-benar sulit dibaca, jadi mungkin tidak masalah membolehkan input terminal sederhana. Dan walaupun mahasiswa tidak harus menghafal semuanya, menurut saya yang penting adalah memahami secara intuitif di mana harus mencari jawaban
  • Ujian open-book bukan hal baru. Di matematika maupun biologi juga sudah sering ada. Kalau tidak paham konsep dasar, tidak akan bisa lolos hanya dengan Googling. Yang dibutuhkan adalah desain ujian yang menilai kemampuan berpikir kritis, bukan sekadar hafalan
  • Saat saya kuliah dulu, pernah ada dorongan besar untuk memperluas kuliah online. Kualitas perkuliahan menurun dan nilai gelar juga ikut terdilusi. Saya sempat bertanya-tanya mengapa universitas negeri mengejar maksimalisasi keuntungan
  • Menurut saya, pada akhirnya cara ini terlalu condong ke tes daya hafal. Saya sendiri punya memori jangka menengah yang bagus jadi bisa mengerjakan ujian dengan baik, tapi itu tidak berarti benar-benar paham. Struktur yang hanya menguntungkan orang dengan ingatan bagus itu tidak adil

• Saya merasa banyak mahasiswa tidak bisa menjawab pertanyaan “mengapa ini harus dipelajari”
  Setelah lulus, realitasnya sering kali cukup tahu “sekadar supaya tidak dipecat”. Di era LLM, standar itu jadi makin rendah. Karena itu saya justru berpikir kita perlu kembali ke metode ujian tradisional. Ujian tertutup tulis tangan, ujian lisan, hapus pekerjaan rumah, dan sebagai gantinya publikasikan ribuan soal beserta penjelasannya untuk melatih daya hafal sebagai fondasi kreativitas

  • Saya berpikir tujuan universitas bukan sekadar “agar tidak dipecat”, tetapi berkontribusi pada perluasan pengetahuan umat manusia. Namun sekarang universitas telah berubah menjadi tempat yang mencetak tenaga kerja sesuai keinginan perusahaan berdasarkan logika pasar. Ditambah lagi, banyak pekerjaan mungkin sebenarnya adalah ‘pekerjaan omong kosong (bullshit jobs)’
  • Berbahaya juga jika kita berasumsi mahasiswa bisa terus-menerus bergantung pada LLM. Bagaimana kalau biaya LLM naik menjadi 1000 dolar per bulan? Apakah mereka masih bisa bekerja?
  • Di Eropa, ujian lisan dan ujian tulis tangan sudah lama umum. Budaya memberi nilai pada PR justru terasa aneh. Di era LLM, menurut saya yang lebih penting adalah apa yang harus dipelajari
  • Pertanyaan pendidikan sekarang bukan lagi “bagaimana cara mengajar”, melainkan “apa makna kerja dan kompetensi”. Masyarakat makin mementingkan performa ketimbang kompetensi, dan AI memperkuat arus itu
  • Profesor elektromagnetika saya dulu berkata, “bukan rumusnya yang harus dihafal, tapi pahami relasinya.” Namun saya justru berpikir menghafal rumus adalah titik awal untuk memahami relasi. Fisika bukan sekadar persamaan, melainkan ilmu untuk memahami struktur evolusi sistem

• Tampaknya pernyataan “kebanyakan mahasiswa tidak ingin memakai chatbot” sudah tidak benar lagi
  Saya seorang dosen, dan jumlah mahasiswa yang bergantung pada LLM meningkat eksplosif. Saya khawatir ke depan akan muncul generasi yang tidak bisa belajar tanpa LLM

  • Profesor dan mahasiswa dalam artikel itu mungkin tidak membutuhkan LLM karena memang tertarik pada proses belajar itu sendiri. Tapi bagi kebanyakan mahasiswa, targetnya adalah lulus, jadi memakai LLM itu rasional. Kalau saya pun harus mengambil mata kuliah yang tidak saya minati, rasanya saya juga akan memakai LLM
  • Menurut saya ini adalah lingkungan ujian yang khusus, jadi sulit digeneralisasi. Jika syaratnya “boleh memakai AI, tetapi harus bertanggung jawab atas hasilnya”, mahasiswa yang sudah siap mungkin memang tidak akan merasa perlu memakai AI
  • Jika penggunaan LLM dilarang di universitas, mahasiswa akan belajar berpikir mandiri lewat rasa takut. Berpikir kritis adalah keterampilan yang harus terus dilatih
  • Jika LLM mulai mengenakan biaya yang nyata, banyak mahasiswa mungkin tidak akan bisa mengaksesnya karena hambatan harga
  • Masalahnya adalah Google merusak pencarian dan menggantinya dengan kotak LLM. Mungkin penyebabnya bukan keinginan mahasiswa, melainkan arah yang didorong perusahaan

• Seorang profesor merasa kemampuan berempati dan kepedulian para mahasiswanya sangat tinggi, sampai mengejutkan. Pendekatannya terhadap AI juga sangat manusiawi, berbeda dari banyak pendidik lain

• Gagasan “membolehkan mahasiswa berdiskusi satu sama lain saat ujian” menarik
  Lalu muncul candaan apakah seharusnya kita memberi ijazah per tim. Karena memang ada perusahaan yang merekrut per tim, mungkin itu bukan ide yang buruk

  • Saya penulis postingan aslinya. Saya mengajar Open Source Strategies. Intinya adalah kolaborasi. Jika mahasiswa bisa mendefinisikan masalah, mengajukan pertanyaan, lalu memperluas pemahaman lewat jawaban, itu sudah merupakan pembelajaran yang sangat baik.
    Cara lain yang saya pakai adalah mahasiswa 1 menjelaskan sebuah konsep, lalu mahasiswa 2 harus memahaminya dalam waktu 20 menit. Setelah itu, mahasiswa 1 dinilai dari jawaban mahasiswa 2. Ini cara untuk mendorong kolaborasi yang bertanggung jawab
  • Akan lebih baik jika ada aturan bahwa kedua mahasiswa harus berpartisipasi aktif
  • Sepertinya kelas kolaboratif seperti ini muncul sebagai reaksi terhadap budaya kompetitif di sekolah
  • Muncul juga candaan sinis, “ya sudah, kirim saja semua ijazah ke OpenAI.” Itu sindiran bahwa nilai pendidikan sedang terguncang

• Desain ujian yang fleksibel dari profesor ini sangat mengesankan. Ia memahami mahasiswa, menjelaskan ekspektasi dengan jelas, dan menunjukkan sikap ingin belajar bersama, sesuatu yang jarang terlihat

  • Saya penulis postingan aslinya. Kebanyakan profesor menjadi profesor karena mereka pandai mengerjakan ujian standar. Sebaliknya, saya adalah mahasiswa yang buruk. Saya lulus dengan nilai minimum, tetapi membangun karier di bidang open source, dan dari situlah saya direkrut menjadi profesor. Saya bersyukur atas jalur yang tidak konvensional ini

• Saya terkejut dengan pernyataan bahwa “mahasiswa tidak berkolaborasi satu sama lain karena takut dianggap curang.” Soalnya dulu saya justru sering mendengar bahwa kecurangan sangat merajalela

  • Saya mengajar di program magister, dan dalam beberapa tahun terakhir sekitar 15% mahasiswa melakukan plagiarisme terang-terangan. Bahkan pernah ada dua orang yang menyerahkan jawaban yang identik sampai tingkat byte
  • Kelas ini mungkin tidak mewakili perilaku umum semua mahasiswa

• Saya merasa metode pengajaran profesor ini benar-benar merupakan pendekatan yang penuh pertimbangan dan seimbang. Strukturnya memberi mahasiswa otonomi sekaligus tanggung jawab.
  Kalimat “tujuan saya adalah kalian belajar lebih cepat dan lebih dalam daripada saya” sangat berkesan bagi saya