- Kritiknya adalah bahwa tulisan LLM, dari jawaban tugas mahasiswa hingga ulasan makalah, meski tampak meyakinkan di permukaan, hampir tidak memberi pembaca gagasan atau pengalaman baru
- Alasan orang menyerahkan penulisan kepada model terbagi antara menganggap tugas itu tidak penting, percaya model menulis lebih baik daripada diri mereka sendiri, atau ingin membuat teks hasil generasi otomatis untuk kepentingan komersial
- Jika tujuan menulis adalah menyampaikan pikiran sendiri, maka keluaran LLM yang tidak memiliki pikiran sendiri lebih mendekati hasil kosong daripada plagiarisme
- Bahkan pekerjaan yang tampak formal seperti tugas kelas dan ulasan makalah sebenarnya menuntut pemikiran dan penilaian, dan LLM hanya membuat teks, bukan menggantikan proses berpikir
- Contoh 234 kata yang dibuat dengan Gemini hanya mengulang prompt secara bertele-tele dan menambahkan generalisasi, sehingga prompt asli lebih layak dibaca daripada hasilnya
Gaya dan batasan yang tampak dalam tulisan LLM
- Saat menilai tugas mahasiswa, penulis sering menjumpai tulisan yang tampak seperti keluaran ChatGPT, misalnya jawaban yang menjelaskan kelemahan Euler angles
- Jawaban seperti ini umumnya bertele-tele, ambigu, terobsesi dengan gaya bullet berhuruf tebal, dan cenderung mengulang prompt
- Gaya khas ChatGPT cukup unik hingga bisa dikenali, tetapi penulis menilai itu bukan bukti yang cukup kuat untuk dibawa ke komite kehormatan
- Bahkan jika masalahnya diangkat, penulis tidak yakin manfaatnya bagi integritas kelas lebih besar daripada waktu yang dihabiskan untuk memperdebatkannya
Mengapa orang menyerahkan penulisan kepada LLM
-
Pekerjaan yang dianggap tidak penting
- Penulis melihat ini sebagai sikap yang umum pada mahasiswa yang memandang perkuliahan sebagai rangkaian rintangan untuk memperoleh gelar
- Motif serupa juga makin sering muncul dalam ulasan makalah, dan penulis menautkan contoh terkait: paper reviews
- Banyak peneliti menganggap review sebagai pekerjaan sampingan di tengah beban kerja yang sudah berlebihan, dan mungkin merasa sulit meluangkan waktu untuk menulis review yang baik
-
Percaya model menulis lebih baik
- Beberapa kolega percaya bahwa LLM menghasilkan tulisan yang lebih baik daripada mereka sendiri
- Secara kesan pribadi, ini tampak lebih umum pada orang yang menggunakan bahasa Inggris sebagai bahasa kedua
- Hal serupa juga terlihat pada pemula yang belajar pemrograman, yang memperlakukan pemrograman seperti mantra mistis yang dihafal lalu dilafalkan
- Pemakaian serupa juga ada dalam penulisan akademik, dan penulis menautkan contoh terkait: academic writing
-
Tulisan hasil generasi otomatis yang punya kepentingan
- Contohnya termasuk astroturfing, chatbot dukungan pelanggan, dan pembuka panjang pada resep baking online
- Menurut penulis, tulisan seperti ini tidak ditulis untuk dibaca manusia, dan juga tidak memuat niat penulis
- Dalam cakupan membahas motivasi pribadi, jenis ini tidak dibahas lebih jauh
Tujuan menulis dan kehampaan keluaran LLM
- Alasan utama manusia menulis adalah untuk menyampaikan gagasan asli
- Gagasan itu tidak harus istimewa atau akademis; liburan, anjing peliharaan, atau warna favorit pun bisa menjadi topik yang cukup
- Syarat pentingnya adalah bahwa gagasan itu harus milik sendiri
- Menyalin kata-kata orang lain tidak menyampaikan pikiran sendiri, tetapi setidaknya masih menyampaikan pikiran manusia
- Karena secara struktural LLM tidak memiliki pikiran sendiri, mempublikasikan keluarannya dipandang sebagai tindakan yang nyaris tanpa tujuan
Pekerjaan yang tampak tidak penting sebenarnya tetap penting
- Menurut penulis, menambahkan komentar berisi ringkasan artikel asli yang dibuat komputer di bawah sebuah posting Reddit hanya membuang waktu semua orang
- Jika tulisan aslinya cukup dangkal hingga ringkasan saja sudah cukup, maka tidak layak ikut berkomentar
- Jika tulisan aslinya benar-benar menuntut pembacaan manusia, maka ringkasan itu menjadi tidak berarti
- Tujuan tugas menulis di kelas bukanlah hasil teksnya, melainkan memaksa mahasiswa untuk berpikir
- LLM bisa menghasilkan keluaran, tetapi tidak bisa menghasilkan proses berpikir
- Dalam ulasan makalah, review yang setengah-setengah hanya menambah pekerjaan yang tidak perlu bagi penulis asli dan tidak memberi editor informasi lebih dari yang sudah mereka ketahui
Sanggahan terhadap keyakinan bahwa “model lebih baik”
- Dalam komunikasi profesional, penulis menilai LLM terutama dipakai untuk menambah kata-kata mubazir atau memperbaiki nada dari prompt asli
- Dalam proses itu, makna asli menjadi kabur, dan bahkan gagasan sederhana dilapisi dengan kata-kata yang tidak perlu
- Kalau beruntung hasilnya tidak salah, tetapi sering kali justru mengarang detail penting sepenuhnya atau menghasilkan tulisan yang sulit dipahami
- Dari tulisan manusia yang canggung, setidaknya kita masih bisa berharap ada pemahaman internal yang ingin dibagikan, tetapi harapan seperti itu tidak bisa diberikan kepada LLM
Pemrograman dan vibe coding
- Penulis sedikit lebih bersimpati kepada para programmer, tetapi menganggap akibat jangka panjangnya lebih berbahaya secara tersembunyi
- Mengingat Programming as Theory Building karya Peter Naur, penulis berpendapat bahwa menulis program yang cukup kompleks memerlukan bukan hanya keluaran kode, tetapi juga teori tentang struktur logis di balik kode itu
- vibe coding didefinisikan sebagai pendekatan yang hampir sepenuhnya menyerahkan pembuatan program kepada generasi LLM
- Pendekatan seperti ini menghasilkan keluaran tanpa teori, sehingga kodenya pada praktiknya tidak berguna
- Dalam istilah Naur, program seperti itu sudah mati, dan di sini dianalogikan lebih dekat dengan mati sesaat setelah lahir
- Sebagai contoh aplikasi hasil vibe coding yang bermasalah karena keamanan, penulis menyebut vibe-coded recipe app yang membocorkan kunci OpenAI
Eksperimen Gemini
- Penulis memasukkan argumen utama esainya ke Google Gemini dan memintanya menyelesaikan tulisan dalam dua paragraf pendek
- Keluaran Gemini berjumlah 234 kata, dan dinilai tidak lebih dari menyatakan ulang prompt secara panjang lebar
- Nadanya tetap berada pada generalisasi yang luas dan hampa; menggunakan kosakata besar, tetapi tidak menggunakannya dengan selera yang baik
- Kalimat contoh “Perhaps it stems from a desire for efficiency, a wish to quickly generate text without the perceived effort of crafting each sentence.” disebut sebagai contoh bagaimana gagasan kecil diubah menjadi kalimat besar
- Makna yang sama bisa dipendekkan menjadi “Perhaps it stems from a desire for efficiency.”, dan jika dipoles lagi menjadi “Perhaps people do it for efficiency.”
- Eksperimen ini mengarah pada kesimpulan bahwa LLM sangat unggul dalam memperpanjang omong kosong, tetapi tidak terlalu baik untuk hal lain
Kesimpulan: lebih baik membaca prompt-nya saja
- Penulis menyatakan belum pernah ada keluaran model generatif kreatif apa pun—termasuk gambar, teks, audio, dan video—yang lebih ingin ia lihat daripada prompt aslinya
- Hasil generasi memiliki substansi yang lebih sedikit daripada prompt, dan tidak memiliki visi manusia dalam proses pembuatannya
- Tujuan berkarya adalah membagikan pengalaman sendiri, dan jika tidak ada pengalaman yang ingin dibagikan, maka tidak ada alasan kuat untuk membuatnya
- Tulisan yang tidak layak ditulis juga tidak layak dibaca
1 komentar
Pendapat Hacker News
Saya sudah beberapa kali meminta rekan kerja yang memakai LLM untuk menghasilkan tulisan yang luar biasa bertele-tele agar mengirimkan prompt-nya saja.
Kalau LLM bisa membuat tulisan panjang dari input yang terbatas, maka yang dibutuhkan hanyalah input ringkas itu, dan sisanya saya anggap bualan tambahan yang dikarang-karang.
Jika saya mengetik atau mendiktekan aliran kesadaran yang penuh tanda kurung dan setengah terstruktur lalu memintanya merangkum, sering kali hasilnya menata apa yang ingin saya katakan dengan lebih baik.
Ini juga sejalan dengan kutipan terkenal Pascal, “Jika punya waktu, saya akan menulis surat yang lebih pendek.”
Sebagai catatan, ketika kalimat di atas saya minta LLM padatkan, hasilnya kira-kira: “Saat sulit mengungkapkan gagasan yang samar, jika kita berbicara atau menulis panjang lebar tentang pikiran yang setengah tertata lalu meminta LLM merangkumnya, ia menangkap maksudnya dengan lebih jelas dan efektif.”
Sekarang AI hanya menjadi mesin keluaran cantik yang lossy.
Setelah akhirnya bisa dihubungi, ia mengaku bahwa requirement sebenarnya dimasukkan ke ChatGPT dan “tidak sempat meninjau hasilnya”; saya benar-benar marah.
LLM tidak bisa tahu tentang saya lebih dari apa yang saya berikan di prompt, jadi output-nya tidak mungkin memberi informasi lebih banyak daripada prompt.
Untuk pertanyaan tentang pengetahuan publik, ia bisa mengambil informasi baru dari materi eksternal, jadi jauh lebih berguna.
Saya suka sudut pandang penulis: ini bukan penilaian moral terhadap individu yang memakai LLM seperti ChatGPT atau Gemini, melainkan bahwa pemikiran yang masuk ke dalam pembuatan prompt pasti lebih menarik, orisinal, dan manusiawi daripada output LLM.
Dari pengalaman memakai LLM untuk menulis kode, kalau prompt-nya sampah, kodenya secara objektif juga sampah.
Kalau saya tidak tahu apa yang saya inginkan, tidak punya ide, struktur, atau rencana, ya kode seperti itulah yang keluar.
Saya juga ingin mendengar sanggahan dari orang-orang yang belakangan ini memakai LLM untuk penulisan akademis atau penulisan kreatif. Saya belum memakai model terbaru selain untuk menembus boilerplate atau kerangka pada proyek pemrograman pribadi.
Pada akhirnya ini adalah struktur sampah masuk, sampah keluar yang terus berulang.
Beberapa minggu lalu pun saya menyebut poin ini sebagai alasan mengapa LLM saat ini tidak bisa menjadi pembuat kampanye yang hebat untuk Dungeons and Dragons.
Manusia tidak membutuhkan “batasan”. Jika Anda meminta penulis yang kompeten duduk tenang dan memikirkan alur novel baru, mereka bisa melakukannya begitu saja.
https://news.ycombinator.com/item?id=43677863
Namun LLM bisa menjadi papan pantul ide yang hebat.
Jika butuh bukti lebih banyak, naikkan temperature ke 1.0 dan tanyakan ke LLM mana pun: “Untuk kampanye DND, bayangkan satu ruangan dungeon mandiri dengan teka-teki unik yang belum pernah ada. Tulis teka-teki, solusi, tata letak ruangan, dan sebagainya secara spesifik, dan buat benar-benar baru serta imajinatif.”
Saya berani bertaruh 99% akan mengeluarkan teka-teki fisika yang formal seperti “The Resonant Hourglass” atau “The Mirror of Acoustic Symmetry”.
Caranya seperti memasukkan ide, membuang yang perlu dibuang, menentukan nada dan keringkasan, lalu menjalankan beberapa draf.
https://old.reddit.com/r/singularity/comments/1andqk8/gemini...
Pada saat yang sama, semakin seseorang membutuhkan LLM untuk penggunaan semacam ini, semakin besar kemungkinan ia paling tidak mampu mengenali kelemahan output-nya. Seperti saya tidak bisa menulis teks berbahasa Spanyol, saya juga tidak bisa menilai kualitas terjemahan bahasa Spanyol buatan LLM.
Secara ekstrem, mahasiswa saat ini bisa saja bergantung pada LLM, mempercayainya tanpa tahu lebih baik, lalu menjadi orang yang mempercayai semuanya tanpa tahu apa-apa, bahkan tidak mampu menilai kualitas atau performanya.
Satu area yang saya lihat berbeda dari penulis adalah coding. Saya memang suka algoritma, tetapi kode ditulis untuk dibaca komputer, dan saya tidak merasa terlalu bermasalah jika komputer menulis kode.
LLM banyak menghemat waktu untuk menulis fungsi sederhana, sehingga saya bisa cepat melewati pekerjaan remeh yang membosankan dalam proyek dan fokus pada bagian yang menarik.
Menurut saya ucapan Miyazaki bahwa “manusia kehilangan kepercayaan diri” paling tepat di sini. LLM bisa menjadi alat hebat untuk mengotomatiskan pekerjaan repetitif dan membosankan, tetapi sedih jika kita berpikir ia bisa menggantikan sudut pandang unik manusia.
Hampir tidak membantu dalam menyusun struktur. Menulis adalah pekerjaan membuat pemahaman menjadi begitu jelas sehingga ketika maknanya dipadatkan menjadi kata-kata, orang lain tetap bisa menangkapnya.
Saya setuju bahwa LLM tidak banyak membantu di bagian itu.
Namun, semua informasi harus ada di dalam prompt. Kalau tidak, ia akan berhalusinasi.
Hasilnya belum layak diserahkan begitu saja, tetapi cukup untuk memulai dan melakukan iterasi daripada menatap layar kosong.
Saya juga ingin mencobanya untuk menulis bagian metodologi, karena pada setiap makalah pekerjaan itu hampir selalu mengulang informasi yang sama dengan kalimat berbeda.
Namun saya belum percaya pada akurasi detail teknisnya. LLM hanyalah model bahasa, bukan pengetahuan atau pemahaman.
Jika ditulis seperti ini, LLM terasa seperti algoritma dekompresi terbalik. Ide sederhana dibesarkan oleh LLM hingga menjadi berantakan, lalu orang lain merangkumnya lagi dengan LLM hingga kembali mendekati prompt aslinya
Satu-satunya yang diuntungkan dari pekerjaan sia-sia ini adalah Sam Altman dan kawan-kawan, yang mengantongi sekitar $0.000000001 sebagai imbalan karena memungkinkan semua ini
Pengecualiannya adalah teks dan kode yang repetitif atau bersifat boilerplate, ketika sedikit informasi harus dinyatakan panjang lebar
http://prize.hutter1.net/
Lihat saja kata pengantar dan FAQ, serta fakta bahwa semua entri pemenang sekarang adalah jaringan saraf
Menurut saya jawaban atas keputusasaan si pengajar cukup sederhana. Banyak orang berada di universitas bukan untuk belajar dan mengembangkan pikiran, melainkan untuk bertahan hidup dalam sistem ekonomi Darwinisme sosial yang kejam
Orang yang datang dengan niat sungguh-sungguh mempelajari sudut Euler sejak awal memang sangat sedikit, sementara sisanya melihatnya sebagai gerbang yang harus dilewati untuk mendapatkan pekerjaan yang mungkin saja akan diotomatisasi oleh AI
Dari sudut pandang penguatan kondisi, pengajar itu jelas cukup mengurangi nilai mahasiswa yang terbukti berbuat curang
Secara teori, para mahasiswa akan berhenti, atau menjadi cukup mahir agar tidak ketahuan. Yang terakhir mungkin merupakan keterampilan yang akan diminati di masa depan
Memang aneh jika orang tua berkata, “Kalau kamu melewati gerbang-gerbang ini, setiap kali kamu menghasilkan 1 dolar dengan menggiling wijen di suatu perusahaan, kami akan menambahkan 2 dolar lagi”
Bukankah bekerja dan mendidik diri sendiri itu hal yang baik dan bermartabat? Apakah ini transaksi yang buruk?
Setidaknya begitu yang tertulis di halamannya: https://claytonwramsey.com/about/
Para profesor pun sebenarnya tidak mendapat pelatihan pendidikan formal, tetapi orang ini juga tampaknya tidak pernah benar-benar belajar metode mengajar yang layak
Pada akhirnya, dia masih cukup muda, dan tulisannya lebih mirip reaksi spontan yang kuat. Jadi sebaiknya dinilai dengan mempertimbangkan hal itu
Ada banyak cara menggunakan LLM
Masalahnya ada pada sebagian orang yang melempar prompt sekali pakai yang pendek, lalu mendapatkan keluaran yang umum dan membosankan. “Masukan sampah, keluaran generik”
Cara saya benar-benar memakainya adalah menuangkan pikiran lalu meminta bantuan merapikannya, mendapat umpan balik tentang ungkapan dan transisi kalimat, sebagai non-penutur asli memperbaiki nada dan gaya sambil berusaha mempertahankan kepribadian, menyederhanakan kalimat yang berantakan, menemukan bagian yang hilang atau bermasalah dalam tulisan, dan sebagainya
Biasanya ini proses iteratif, dan panjang prompt gabungannya menjadi lebih panjang daripada hasil akhir. Umpan baliknya juga saya terapkan secara manual
Kalau seseorang hanya mengetik “tuliskan artikel blog tentang X”, prompt-nya mungkin memang lebih menarik daripada keluarannya. Namun jika ada lima putaran revisi dan konteks, apakah Anda benar-benar ingin membaca semua prompt dan draf alih-alih versi akhirnya?
Kalau mau, ini ada: https://chatgpt.com/share/6817dd19-4604-800b-95ee-f2dd05add4...
Sebagai catatan, draf awal yang diberikan ke ChatGPT lebih baik daripada tulisan yang diposting di sini
Hal ini sangat sulit dipahami oleh mahasiswa. Ketika guru meminta menulis tentang peristiwa sejarah, itu bukan semacam ritual menuju gelar
Tujuannya adalah meningkatkan berbagai kemampuan: mengumpulkan informasi, memahaminya, menyerapnya, mengkritisi apa yang dibaca, dan akhirnya membentuk pendapat sendiri
Ungkapan “menuangkan pikiran lalu membiarkan LLM merapikannya” terdengar seperti tidak tertarik melatih kemampuan untuk benar-benar menyerap informasi
Bagi saya, itu tampak seperti tanda bahwa seseorang tidak tertarik menjadi pribadi yang menarik. Saya pikir ini soal kedewasaan, dan suatu hari nanti mereka akan memahaminya
Inti ucapan penulis juga itu. Yang saya pedulikan adalah apa yang Anda katakan tentang topik yang Anda pedulikan, bukan apa yang bisa Anda lakukan untuk berpura-pura peduli atau tahu
Jika Anda tidak bisa merapikan pikiran sendiri, sulit dipercaya bahwa Anda sudah mencapai titik yang menarik, dan untuk sampai ke sana perlu latihan
Namun saya khawatir jika orang memakai LLM tanpa berlatih, mereka pada akhirnya tidak akan menjadi pribadi yang menarik
Ini juga tidak selalu sederhana, sehingga kadang perlu diulang dengan instruksi seperti “terjemahkan ke bahasa yang digunakan orang-orang di wilayah tertentu”
Ada bagian ketika penulis benar. Sebagai pengguna bahasa kedua, LLM menghasilkan tulisan yang lebih baik daripada saya
Namun prompt-nya berbahasa asing dan potongan drafnya bercampur aduk sehingga tidak berguna bagi pembaca, jadi saya tidak akan membagikannya
Saya melihatnya lebih mirip menyerahkan draf buku kepada editor dan penerjemah
Sejak AI muncul, saya terus memikirkan rasio prompt terhadap output
Karena sifat sistem yang kita pakai, kita secara alami berasumsi prompt akan lebih pendek daripada output, tetapi makin spesifik kita merumuskan apa yang diinginkan, prompt makin panjang sementara ukuran output tetap sama
Jika alih-alih menulis esai kita menjelaskan apa yang akan dimuat dalam esai itu, penjelasan tersebut niscaya menjadi lebih panjang daripada esai itu sendiri. Sebab menjelaskan apa yang hendak dikatakan membutuhkan lebih banyak teks daripada langsung mengatakannya
Fakta bahwa kita berharap mendapat lebih banyak usaha sebagai imbalan atas usaha yang lebih sedikit menunjukkan bahwa yang kita dapat pada akhirnya adalah teks pengisi
Karena itu prompt justru lebih menarik, dan sering kali ketika saya mulai menulis prompt karena tidak tahu harus menulis apa, dalam prosesnya apa yang hendak saya katakan tiba-tiba menjadi jelas
Secara umum, AI jauh lebih berguna untuk memadatkan ide yang kompleks menjadi sederhana daripada memperluas ide sederhana menjadi kompleks
Jika kita sudah bisa menspesifikasikan sistem baru yang ingin dibuat dalam bahasa Inggris dengan cukup tepat hingga memperoleh persis sistem yang diinginkan, lebih baik sekalian menulis kodenya
Jika selama 1 jam saya menulis prompt 500 kata, menambahkan X data tambahan seperti baris-baris tabel, lalu LLM mengembalikan X jawaban yang sempurna, tidak penting bahwa rasio outputnya lebih buruk dibanding jika saya mengetik sendiri karakter-karakter itu
Yang penting adalah apakah pekerjaan selesai lebih cepat dalam 1 jam itu ditambah beberapa menit waktu pemrosesan LLM
Mirip dengan pemrograman. Tujuan memakai LLM bukan untuk menulis kode yang lebih baik daripada kode yang bisa saya tulis sendiri, melainkan menulis kode yang cukup baik dengan jauh lebih cepat
Namun seperti yang dikatakan orang lain, prompt mungkin tidak selalu semenarik atau serepetitif yang kita kira. Bisa saja hanya “tugasnya ini, apa jawabannya”
Saya sepenuhnya setuju dengan pokok pikiran penulis, tetapi sulit membantah kondisi dan hambatan ekonomi yang menyertai perolehan gelar
Kebanyakan orang melihat gelar sebagai gerbang untuk mendapatkan pekerjaan yang layak, dan itu wajar secara ekonomi
Sayangnya, kini para pemberi kerja juga mendorong pekerjaan copy-paste semacam ini. Lihat saja Meta dan Google yang mengatakan sebagian besar kode baru yang ditulis dibuat oleh AI
Dunia akan dimakan AI
Dulu hanya orang paling pintar atau paling kaya yang masuk universitas, sehingga gelar universitas menjadi indikator pengganti kecerdasan
Sekarang lulusan universitas mendapatkan pekerjaan bagus, maka cara memberi semua orang pekerjaan bagus menjadi memberi semua orang gelar
Jika kebanyakan orang tidak tertarik pada pembelajaran yang menjadi dasar gelar dan hanya tertarik pada pekerjaan, pada akhirnya akan muncul mahasiswa yang hanya peduli pada batas kelulusan dan sertifikat di akhir
Jika orang datang hanya untuk memainkan permainan, kita tidak bisa berharap mereka akan belajar
Namun meski 90% melewatkan peluang di depan mata, 10% akan menangkap peluang itu dan mengisapnya sampai ke tulang
Jika berada di universitas, saya menyarankan untuk memanfaatkan pengetahuan yang disediakan dan kesempatan untuk berinteraksi. Universitas mungkin terbuka bagi semua orang, tetapi yang melihat emas di dalamnya dan benar-benar belajar hanyalah segelintir orang beruntung
Permainan bukan hanya soal skor akhir. Ada jauh lebih banyak hal yang ditawarkan
Saya khawatir LLM sudah menciptakan generasi pertama developer yang tidak bisa berfungsi tanpa LLM
Tidak masalah memakai LLM untuk sebagian pekerjaan, tetapi kita harus tetap bisa berfungsi tanpa LLM
Tidak semua data bisa dimasukkan ke prompt AI, ada masalah yang tidak bisa diselesaikan dengan LLM, dan jika bergantung pada kode atau konfigurasi yang dihasilkan untuk masalah sederhana, kita tidak akan mengembangkan kemampuan sendiri
Saya sangat tidak setuju dengan kesimpulan Clayton bahwa “tidak pernah ada saat saya tidak lebih ingin melihat prompt aslinya daripada output model generatif. Outputnya punya substansi lebih sedikit daripada prompt dan tidak memiliki visi manusia”
Kami membuat ini dengan AI, dan saya yakin jika Anda bukan kreatornya, Anda tidak akan ingin melihat input mentahnya
https://www.youtube.com/watch?v=H4NFXGMuwpY
Pengguna AI akan terbagi menjadi dua jenis. Mereka yang memakai AI sebagai alat end-to-end sepenuhnya, dan mereka yang memanfaatkannya sebagai alat untuk memperkuat pekerjaan dan kreativitas yang sudah mereka lakukan
Yang terakhir jelas merupakan use case AI yang bagus
Mungkin ini akan memaksa perubahan besar dalam cara menilai mahasiswa. Setelah esai diserahkan, pengajar mungkin harus berdialog tentang topik itu untuk memastikan seberapa banyak yang benar-benar diserap
Atau, kemungkinan lebih besar menurut saya, LLM hanya akan membuat semuanya lebih buruk
Ini terjadi karena instruktur mengajukan pertanyaan yang hanya membuat mahasiswa mengulang teks instruktur
Untuk mengajar dengan benar, seharusnya begini
“Ada lengan robot kecil mainan yang dibuat dari Tinkertoys. Ia memiliki tiga sendi bersudut: basis berputar, bahu, dan siku, dan pada tiap sendi ada busur derajat untuk melihat sudutnya”
Dengan begini, Anda akan benar-benar memahami apa arti masalah-masalah ini
Saya sama sekali tidak tahu robotika, tetapi itu terdengar seperti tugas yang cukup umum, dan tampak seperti jenis tugas yang bisa LLM muntahkan kembali dari PR orang lain
Jika satu mahasiswa melakukan itu, mungkin mahasiswanya yang bermasalah, tetapi jika 90% melakukannya, menurut saya tugasnya yang keliru
Jauh sebelum LLM muncul, saya pernah mengajar, dan ada banyak sekali tugas sampah hasil salin-tempel
Saya selalu memberi nilai 0, dan tidak menyebutnya plagiarisme. Karena untuk menanganinya sebagai plagiarisme diperlukan prosedur administrasi universitas
Sebagai gantinya, saya hanya memberi komentar “Saya meminta X, tapi Anda mengumpulkan omong kosong hasil tempel yang tidak masuk akal”
Selama keluaran LLM masih berada di level seperti sekarang, ancamannya untuk benar-benar kompetitif dalam tugas tidak terlalu besar
Kalau mahasiswa cukup cermat untuk menulis ulang dengan suara mereka sendiri, saya justru akan menganggapnya sukses. Kalau mereka menyerahkan begitu saja sampah dari LLM yang dipoles lewat RLHF oleh vendor alih daya pelabelan data, beri saja nilai 0
Mahasiswa tidak peduli pada seruan emosional 3000 kata di blog, mereka akan memilih jalan dengan hambatan paling kecil
Kalau tidak punya kemauan untuk mencoret seluruh tugas dan mengembalikannya dengan tulisan merah besar “Omong kosong ChatGPT, nilai 0”, sebaiknya tanyakan pada diri sendiri apa sebenarnya tujuan tugas itu sejak awal
Meski begitu, saya bisa mengerti. Universitas telah menjadi struktur tempat mahasiswa membayar untuk mendapatkan gelar, dan para dosen telah kehilangan kekuatan untuk menegakkan standar atau disiplin apa pun di hadapan administrator
Jadi yang bisa dilakukan hanyalah memberi nilai lulus minimum untuk sampah ChatGPT, lalu berfilsafat di blog yang tidak akan pernah dibaca mahasiswa
Itu jelas kecurangan. Misalnya, mendapatkan jawaban benar dengan kode yang salah
Namun saya tidak berniat menempuh prosedur administrasi untuk melaporkannya sebagai kecurangan, jadi saya hanya memberi nilai 0
Memberi nilai 0 untuk jawaban yang benar sepertinya akan berujung pada keluhan atau banding yang berhasil
Namun ide baru punya kemungkinan gagal, sehingga kebanyakan hasilnya kurang bagus dan mendapat nilai rendah
Karena tidak tahu harus bagaimana, saya segera mulai menulis esai berdasarkan ringkasan Wikipedia dan ulasan orang lain tanpa membaca buku yang ditugaskan
Setelah mendapat A dan A+ pertama, saya menyadari bahwa bahkan tulisan orisinal yang biasa-biasa saja pun tidak dipahami oleh setengah orang karena daya tangkap mereka terlalu rendah
Agar sebuah ide dalam sastra diakui benar-benar intelektual, ide itu harus tetap menarik bahkan bagi orang-orang yang tidak ingat apa yang sebenarnya mereka baca
Bahkan bagi orang yang berpengetahuan dan pintar, lautan informasi serupa juga mengaburkan pandangan
Tujuan tugas menulis di kelas seharusnya bukan menghasilkan produk teks, melainkan membuat siswa berpikir. Model bahasa bisa menghasilkan yang pertama, tetapi tidak bisa menghasilkan yang kedua
Sangat membuat putus asa melihat begitu banyak pakar dan akademisi pintar di dunia pendidikan dan akademia tidak memahami hal ini
Mereka melihat pekerjaan hanya sebagai produksi output, tanpa memikirkan bagaimana prosesnya membangun pengetahuan, keterampilan, dan pengalaman
Siswa yang paling tidak paham terseret oleh LLM selama bertahun-tahun, tanpa memahami tujuan menulis atau memecahkan masalah, maupun keterbatasan LLM
Kadang mereka menghabiskan ratusan ribu dolar untuk membuat otak mereka merosot dan hanya mendapat selembar kertas, lalu menghadapi dunia nyata yang masalahnya jauh lebih terbuka dan kualitas pemecahan masalah LLM turun tajam
Orang yang benar-benar bergulat sendiri dengan masalah dan belajar akan memiliki keunggulan luar biasa dalam jangka panjang
Jika yang kita pedulikan hanya memindahkan beban, maka memakai alat memang benar
Namun pekerjaan ini dilakukan karena efek yang akan timbul pada diri Anda. Alasan guru bertanya bukan karena mereka tidak tahu jawabannya
Jika ingin belajar dan mendalami materi, saya bisa menghemat 60 ribu dolar dan melakukannya gratis secara online, mungkin bahkan lebih efisien
Tujuan tugas menulis di kelas adalah membuat universitas memberi saya gelar
Mempelajari materinya secara nyata tidak otomatis membuat saya mendapat gelar; itu hanya mungkin jika saya melewati gerbang yang dipasang para profesor dan membayar biaya kuliah yang sangat besar
Akan menyenangkan jika ada sistem lain yang memungkinkan seseorang benar-benar belajar lalu mendapat sertifikasi yang sah atas fakta itu untuk kelayakan kerja, tetapi selama para profesor menjadi penjaga gerbang sertifikat kelayakan kerja yang diidamkan, masalah insentif seperti ini akan terus ada
Saat kecil, ketika mendapat tugas esai “mengapa pihak baik menang dalam The Lord of the Rings”, itu sebenarnya gerbang untuk memastikan apakah saya benar-benar membaca novelnya
Pilihannya ada tiga: membaca novel dan menulis esai sendiri, mencari esai yang sudah ada, atau memakai esai teman sebagai templat lalu menulis ulang
Sebelum internet, mencari esai yang sudah ada juga tidak mudah, tetapi ada buku kumpulan esai tentang topik umum, dan ada risiko ketahuan dosen atau orang lain memakai sumber yang sama
A dan C setidaknya membuat kita belajar tentang novelnya dan mengasah kemampuan menulis
Hari ini, kita bisa meminta ChatGPT menulis esai 4 halaman tentang novel yang bahkan belum pernah kita dengar, lalu selesai. Tidak ada nilai yang didapat dari proses itu
Ini contoh sederhana, tetapi berlaku sama untuk pemrograman. Programmer pemula akan mengklaim bahwa LLM memberi mereka kekuatan untuk menangani tugas sulit dan bahasa yang tidak mereka ketahui, tetapi mereka tidak mendapatkan keterampilan atau pengetahuan dari pengalaman itu
Jika Anda meminta Google Maps mencarikan rute dari Prague ke Brussels, ia akan memberi daftar belokan yang memandu Anda sampai tujuan, tetapi Anda tidak bisa mengklaim telah mempelajari topografi Jerman dari proses itu
Saya setuju bahwa situasi yang digambarkan penulis tidak memuaskan, tetapi sebagian besar tanggung jawab ada pada sistem pendidikan, dan lebih jauh lagi pada penulisnya
Dengan tugas menulis seperti itu, wajar jika siswa memakai LLM. Jika teman-teman sekelas memakainya, yang bodoh justru tidak memakainya
Pendidik harus merombak cara mereka mengajar dan menilai. Aneh penulis tidak melihat hal ini
Universitas dan sekolah harus mengubah cara operasi mereka terkait AI; jika tidak, mereka justru membuat siswa gagal
Saya tahu AI memiliki banyak potensi masalah dan masalah nyata bagi masyarakat, tetapi jika diterima dengan benar, AI juga berpotensi mengubah pengalaman pendidikan secara positif
Pertama, siswa adalah audiens yang tertawan. Mereka tidak ingin berada di sana, tetapi hukum membuat mereka harus begitu
Bahkan setelah pendidikan wajib pun sama. Mereka terdorong oleh inersia ke pendidikan tinggi dan tidak menyadari bahwa sebenarnya ada pilihan atau alternatif
Kedua, banyak keterampilan yang ditumbuhkan di kelas pada kenyataannya tidak berguna
Saya menghabiskan banyak waktu di kelas bahasa Inggris sebagai bahasa kedua, tetapi yang benar-benar mengajari saya bahasa adalah penggunaan internet. Kelas bahasa Inggris di bagian akhir hanya pekerjaan pura-pura sibuk
Di kelas bahasa ibu pun saya harus menulis cukup banyak esai, tetapi yang berguna dari kelas itu hanya ujian akhirnya
Sejak itu saya tidak pernah menulis esai “sungguhan”. Kalaupun menulis, mungkin saya akan menulisnya dalam bahasa Inggris dan memakai gaya lain yang saya pelajari dari tulisan forum