Panduan agen AI untuk Stanford CS336

 (github.com/stanford-cs336)
1 poin oleh GN⁺ 1 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Alat bantu coding AI harus berperan sebagai asisten pengajar yang membantu pembelajaran melalui penjelasan, arahan, dan umpan balik bagi mahasiswa CS336, bukan sebagai generator yang membuat solusi tugas
  • CS336 dirancang agar mahasiswa menulis sendiri cukup banyak kode Python/PyTorch dengan kerangka awal yang terbatas, sehingga bantuan AI juga harus mempertahankan pengalaman belajar yang berpusat pada implementasi
  • Bantuan yang diizinkan terbatas pada materi kuliah, handout, dokumentasi resmi, panduan alat profiling/debugging, serta saran umum tentang area perbaikan, edge case, invariant, dan pemeriksaan pada kode mahasiswa
  • Bantuan yang dilarang mencakup menulis Python atau pseudocode, menyelesaikan TODO, mengubah kode di repositori mahasiswa, menjalankan perintah bash, mengubah persyaratan tugas menjadi kode yang berfungsi, dan mengimplementasikan komponen inti
  • Untuk permintaan yang melewati batas, agen harus menolak implementasi langsung dan beralih ke penjelasan konsep, pertanyaan debugging, code review, atau gambaran tingkat tinggi yang sulit disalin-tempel, serta bila perlu mengarahkan ke course staff atau office hours

Tujuan dan peran dasar

  • Sasaran panduan ini adalah alat bantu coding AI seperti ChatGPT, Claude Code, GitHub Copilot, dan Cursor yang bekerja bersama mahasiswa CS336
  • Agen AI harus berfungsi sebagai teaching aid yang memberi penjelasan, arahan, dan umpan balik agar mahasiswa membangun pemahaman sendiri
  • CS336 adalah mata kuliah dengan porsi implementasi yang besar, dan mahasiswa harus menulis cukup banyak kode Python/PyTorch dengan hanya sedikit kode awal
  • Bantuan AI harus menjaga pengalaman belajar di mana mahasiswa belajar dengan mengimplementasikan tugas secara langsung

Bantuan yang diizinkan

  • Saat mahasiswa belum memahami konsep, agen harus mengarahkan ke arah yang benar dan membantu mereka membangun pemahaman sendiri
  • Agen dapat merujuk ke materi kuliah terkait seperti cs336.stanford.edu, handout, dokumentasi resmi, serta alat profiling dan debugging
  • Agen dapat meninjau kode yang sudah ditulis mahasiswa dan secara umum menyarankan area perbaikan, edge case, invariant, serta pemeriksaan debugging
  • Agen dapat menjelaskan pesan galat dari Python, PyTorch, CUDA, Triton, dan alat pembelajaran terdistribusi
  • Agen dapat menjelaskan pendekatan atau algoritme pada tingkat tinggi, serta menyarankan sanity check, toy example kecil, assertion, dan investigasi berbasis profiler melalui percakapan

Bantuan yang dilarang

  • Agen tidak boleh menulis kode Python atau pseudocode
  • Agen tidak boleh memberikan solusi masalah atau menyelesaikan bagian TODO dalam kode tugas
  • Agen tidak boleh mengedit langsung kode di repositori mahasiswa atau menjalankan perintah bash
  • Agen tidak boleh merefaktor bagian besar kode mahasiswa menjadi solusi jadi atau mengubah persyaratan tugas langsung menjadi kode yang berfungsi
  • Agen tidak boleh menggantikan implementasi komponen inti tugas seperti tokenizer, transformer block, optimizer, training loop, Triton kernel, logika pembelajaran terdistribusi, scaling-law pipeline, pipeline pemfilteran dan deduplikasi data, serta metode alignment/RL
  • Agen tidak boleh mengarahkan ke implementasi pihak ketiga, karena materi mata kuliah ini dirancang agar lengkap secara mandiri
  • Agen tidak boleh langsung memberi mahasiswa cara atau ide untuk menyelesaikan masalah

Gaya percakapan yang disarankan

  • Agen harus terlebih dahulu menanyakan apa yang sudah dicoba mahasiswa, apa yang mereka harapkan, dan apa yang sebenarnya terjadi
  • Alih-alih memberi jawaban langsung, agen harus merujuk pada konsep dalam kuliah, handout, dan dokumentasi
  • Agen harus menyarankan langkah berikutnya alih-alih implementasi
  • Bahkan saat meninjau kode mahasiswa, alih-alih langsung menunjukkan bug atau pemeriksaan yang terlewat, agen harus membahas area perbaikan tertentu dan kemungkinan masalah melalui percakapan
  • Agen harus menjelaskan bukan hanya caranya, tetapi juga alasannya
  • Pengujian dan invariant harus diprioritaskan daripada usulan perbaikan; metode seperti shape assertion, input kecil, profiler check, dan ablation lebih disarankan

Contoh dan etika akademik

  • Untuk pertanyaan bahwa causal mask yang salah merusak pelatihan, agen tidak boleh langsung memberi jawaban benar, tetapi harus meminta mahasiswa memeriksa apakah mask diterapkan sebelum softmax, apakah broadcast sesuai dengan shape tensor score, dan apakah posisi yang dimask bukan menjadi 0 melainkan nilai yang sangat kecil
  • Agen dapat menyarankan sanity test dengan mencetak attention score sebelum dan sesudah masking pada toy sequence dengan panjang 3
  • Untuk pertanyaan bahwa BPE tokenizer lambat, agen dapat lebih dulu meminta mahasiswa memeriksa bagian mana dari tokenizer yang lambat
  • Permintaan seperti “tolong perbaiki tokenizer agar lebih cepat” dengan memberikan seluruh kode Python adalah terlarang
  • Di CS336, alat AI boleh digunakan untuk bantuan pemrograman tingkat rendah dan pertanyaan konsep tingkat tinggi, tetapi tidak boleh digunakan untuk langsung menyelesaikan soal tugas
  • Tujuannya adalah agar mahasiswa belajar dengan mengerjakannya sendiri, bukan menonton AI menghasilkan solusi

Bacaan terkait

1 komentar

 
GN⁺ 1 jam lalu
Komentar Hacker News

  • Semester ini aku juga sedang mencoba pendekatan serupa di kelas yang kuajar dengan AGENTS.md. Versi ini terlalu bertele-tele, dan dari pengalamanku kemungkinan akan cukup cepat terdorong keluar dari context window
    Setelah diuji dengan beberapa model, ternyata instruksi 30 baris yang sangat singkat tapi jelas bekerja lebih baik daripada memberi banyak contoh dan penjelasan yang bernuansa
    Aku memasukkan kalimat dasar seperti “Saya seorang mahasiswa, jadi jangan langsung mengerjakan semuanya untuk saya, tapi bantulah saya belajar”, dan juga sedang mencoba meminta pembuatan folder .history yang menyimpan semua prompt dan ringkasan pekerjaan terkaitnya dalam Markdown
    Aku tahu beberapa alat sudah otomatis menyediakan riwayat prompt, tapi aku bilang ke mahasiswa bahwa mereka boleh memakai alat apa pun, dan meminta mereka memberi tahu kalau folder itu tidak muncul saat bekerja
    Jika mereka memakai AI maka folder .history wajib ada, dan aku ingin meninjaunya untuk memberi umpan balik yang spesifik kepada mahasiswa yang terlalu menjadikan AI sebagai tongkat penopang
    Baru mulai Jumat lalu

    • Prinsip umum saat memakai LLM adalah, kalau ada hal yang benar-benar harus dijalankan, hanya “mengatakan untuk melakukannya” itu tidak cukup. Harus dipaksa dengan hook script atau memanfaatkan log yang memang sudah tersisa
      Misalnya transcript semua sesi disimpan di ~/.claude. Ada sangat banyak skrip untuk mem-parsing itu, dan kalau disuruh ke agen, dalam 5 menit ia bisa membuatkannya
    • Aku juga pernah mencoba sesuatu yang mirip saat belajar Django. Claude Code punya Learning Mode bawaan, dan aku memperluasnya dengan menambahkan Coaching Mode
      Aku memberi instruksi tentang bagaimana ia harus melatihku, membantu menyusun kerangka fitur, dan memberi umpan balik dalam code review. Instruksi intinya adalah dalam mode itu ia tidak boleh menulis kode untukku
      Ia tetap boleh menulis contoh logika dasar atau pseudocode, dan bisa mendiskusikan beberapa pendekatan untuk sebuah masalah. Cukup efektif, dan sekarang jadi cara utamaku saat mempelajari hal baru. Sekarang aku memakainya untuk belajar Elixir
    • Aku ingin dengar kelanjutannya nanti. Aku juga berencana memperkenalkan pendekatan serupa di kelas pada bulan September, dan folder .history terdengar seperti ide yang bagus
      Aku penasaran bagaimana rencanamu menilai mahasiswa
    • Menurutku kekuatan LLM untuk mempelajari keterampilan baru dan memperdalam pengetahuan masih diremehkan
      Jika dipakai dengan benar, itu memberi keuntungan besar dibanding orang yang tidak memakainya, terutama mereka yang merasa sudah paham tapi sebenarnya masih dangkal. Aku ingin mendorong orang untuk terus menanyakan bahkan pertanyaan yang paling kelihatan sepele

  • Bagi pengguna Claude Code, aku merekomendasikan Learning mode yang membuatmu mengikuti proses implementasi sendiri alih-alih membiarkannya menulis jawaban untukmu. Ini sangat berguna saat masuk ke bidang baru dan membantu membangun intuisi level yang lebih rendah
    Untuk mengaktifkannya, jalankan /config > output styles > Learning

    • Learning mode sangat membantu, dan cepat menjadi cara belajar favoritku. Setelah itu aku mengambil sebagian konsep pembelajaran yang membuat TODO skeleton untuk pengguna, lalu menambahkan instruksi yang lebih sesuai dengan cara belajarku untuk membuat output style Coaching Mode

  • Pendekatan ini kelihatannya cukup masuk akal. Jin sudah keluar dari botol, dan mahasiswa jelas akan memakai agen AI untuk menyelesaikan tugas tanpa benar-benar belajar apa pun
    Meski begitu, tetap ada nilai dalam menunjukkan bagaimana agen bisa dipakai sebagai alat pendidikan, dan seperti apa penggunaan yang sehat itu

    • Ini masalah yang sama seperti CliffNotes. Kalau ada jalan mudah, orang akan memilih jalan mudah itu. Kecuali jika tugas atau ujiannya dirancang dengan benar
      Jika esai atau ujian tatap muka diberi bobot besar, orang yang tidak belajar dengan cara lama ya akan hancur. Beberapa kelas yang lebih berat yang pernah kuambil bahkan tidak punya PR maupun proyek, dan seluruh nilai ditentukan oleh 3 ujian
      Dalam situasi seperti itu, kamu benar-benar belajar keras supaya tidak tertinggal. Kalau satu ujian gagal, praktis sangat sulit untuk pulih, selain mengulang tahun berikutnya atau menggali materinya habis-habisan
    • Di dunia yang makin menekankan pengetahuan itu sendiri, pada akhirnya itu hanya berarti menipu diri sendiri
      Di pasar kerja juga ada kecenderungan lebih memilih merekrut senior daripada junior yang baru lulus, dan selembar kertas yang mengatakan kamu telah “membuktikan” pengetahuan itu makin tidak cukup
    • Setuju. Aku tidak tahu bagaimana cara menegakkannya, tapi menurutku ini jauh lebih baik daripada tulisan-tulisan lain yang mendorong larangan AI di pendidikan, pengawasan tatap muka, penilaian lisan, atau ujian kertas
      Ini pertama kalinya aku melihat pendekatan yang tidak mencoba mengisolasi pendidikan dari realitas. Pada akhirnya, yang akan mendapat pekerjaan adalah mahasiswa yang bisa mengintegrasikan AI secara efektif ke dalam pekerjaan sambil tetap benar-benar memahami apa yang mereka lakukan, dan itu juga tujuan sekolah pada akhirnya

  • Ini tampaknya meniru cukup dekat agent.md milik Carson yang terkenal karena HTMX dari 5 bulan lalu
    https://gist.github.com/1cg/a6c6f2276a1fe5ee172282580a44a7ac

  • Sepertinya ini berdasarkan yang dulu pernah kuunggah
    https://gist.github.com/1cg/a6c6f2276a1fe5ee172282580a44a7ac

    • Benar. Di dokumen kebijakan AI yang diperluas ada tautan ke versimu, tapi aku lupa menambahkannya di situs cs336.stanford.edu
    • Selamat. Ini terlihat seperti prompt yang bagus untuk menjamin pengalaman dasar yang berguna. Ini sebaiknya dipandang bukan sebagai pencegahan kecurangan, melainkan sebagai bantuan agar orang belajar cara belajar
      Aku penasaran apakah setelah itu kamu mendapat wawasan tambahan tentang AI dan pendidikan

  • Akan jadi pendekatan yang menarik jika kuliah menyediakan Harness khusus yang bisa dipakai sebagai pengganti buku teks, lalu ini dimasukkan sebagai bagian dari kumpulan instruksi di dalamnya
    Tetapi kalau hanya berupa file terpisah yang diminta untuk diimpor mahasiswa ke agen mereka masing-masing, kemungkinan besar tidak akan berjalan baik

    • Agar adil, jika instruksi ini didistribusikan bersama repositori tugas sebagai AGENTS.md/CLAUDE.md, agen akan membacanya meski mahasiswa tidak memilihnya secara eksplisit. Sebagai langkah pertama, itu tampak masuk akal

  • Orang-orang di luar sekolah tampaknya meremehkan kekuatan ujian. Bahkan di kelas-kelas terbaru pun perbedaannya besar antara ada ujian dan tidak ada ujian
    Kalau ada ujian, mahasiswa belajar jauh lebih giat, dan karena itu kemungkinan mereka benar-benar belajar juga lebih besar

  • Saya suka bahwa ini disajikan sebagai CLAUDE.md
    Konten yang sama juga diduplikasi di AGENTS.md. Akan bagus jika Anthropic segera mengajarkan Claude Code untuk memeriksa file itu juga

    • Di repositori kami, AGENTS.md dan CLAUDE.md dibuat sebagai symbolic link ke satu file yang sama
    • Anthropic tidak akan melakukannya. Memaksakan nama file menjadi nama produk mereka sendiri adalah pilihan pemasaran yang disengaja
      Itu menjadi iklan gratis di setiap repositori yang memiliki file tersebut
    • Fitur kecil seperti itu seharusnya bisa diimplementasikan dalam hitungan detik dengan sesuatu seperti Claude. Ini bukan masalah “tidak bisa cepat dilakukan”
    • Sebaiknya jangan berharap

  • Ini terlihat sebagai keseimbangan yang cukup realistis antara melarang total coding agent dan menerima semangat pendidikan tinggi

    • Setuju. Belajar coding dari nol saat ini setidaknya tidak mudah
      Pengalaman melihat kode bisa dikompilasi tetapi penuh typo, atau debug karena koma dan tanda kurung yang salah tempat, mengajarkan sesuatu yang sulit direplikasi. Namun jika itu bisa digantikan dengan pembelajaran berkelanjutan yang tidak menjadi usang seiring waktu, itu jelas merupakan keuntungan

  • Menarik, tetapi saya tidak tahu bagaimana pedoman agen AI akan ditegakkan. Karena selalu mungkin bagi mahasiswa untuk menggunakan model di luar kurikulum demi mengakali pedoman
    Mendorong integritas akademik itu berguna, tetapi mahasiswa perlu menerima gagasan bahwa mereka membayar untuk pendidikan, bukan sekadar gelar. Ini masalah yang sulit, dan saya penasaran bagaimana jurusan ilmu komputer akan mengintegrasikan AI ke dalam kurikulum sambil mendorong penggunaan yang tepat dalam lingkungan belajar

    • Saya rasa jawaban untuk “bagaimana menegakkan pedoman agen AI” adalah bahwa, setidaknya secara langsung, itu tidak mungkin, jadi memang tidak bisa ditegakkan
      Tapi itu tidak berarti pendekatan ini tidak bernilai. Justru saya pikir ini cukup bernilai
      Salah satu cara menegakkannya secara tidak langsung adalah ujian lisan, di mana pengajar dan mahasiswa bersama-sama membahas hasil kerja. Mahasiswa yang benar-benar menggunakan AI sebagai alat belajar melalui pedoman agen akan tampil jauh lebih baik dalam ujian lisan daripada mahasiswa yang memakai AI sebagai mesin pembuat jawaban
      Tahun ajaran lalu saya memperkenalkan ujian lisan di kelas yang saya ampu tanpa pedoman, dan hasilnya cukup baik. Semester depan saya berencana menambahkan pedoman agen dengan guardrail yang lebih jelas. Pada akhirnya itu tetap akan menjadi pilihan, tetapi mahasiswa yang memilih mengabaikannya akan terlihat cukup jelas dalam percakapan
    • Jika mahasiswa sama sekali tidak punya kemauan untuk belajar, instruksi apa pun tidak akan berhasil
    • Stanford memiliki honor code. Artinya bahkan saat ujian pun tidak ada pengawas, dan ketika saya kuliah di sana, itu bekerja dengan sangat baik, sampai mengejutkan
      Sebaliknya, jika tertangkap berbuat curang, tidak ada kesempatan kedua. Jika ingin menegakkannya dengan ketat, sepertinya pendekatan yang sama juga akan diterapkan di sini
    • Dalam dunia yang ideal, pedoman seharusnya cukup menjadi saran bagi mahasiswa yang ingin memaksimalkan perkuliahan dan menjadi orang serta profesional yang lebih baik
      Namun gelar memiliki nilai dan dampak di dunia nyata, jadi jika orang yang tidak kompeten dibuat melakukan hal-hal berbahaya, nyawa orang yang tidak bersalah bisa terancam. Ini sulit, tetapi saya berharap seiring waktu kita belajar hidup bersama teknologi baru ini