Teknologi spreadsheet berbasis Transformer

• Dalam proses menyesuaikan materi AI by Hand secara manual, kesalahan pada jawaban bisa terjadi, sehingga pengguna membutuhkan alat untuk membuat soal latihan dan jawabannya sendiri
• Setelah meninjau beberapa pendekatan implementasi, dipilih Google Sheets agar lebih banyak orang dapat mengakses dan mengubahnya
• Materi publik mencakup Google Sheet untuk latihan Transformer yang bisa langsung dilihat
• Materi AI by Hand yang sudah ada telah dikustomisasi bersama beberapa pengajar AI dan digunakan di berbagai kelas di seluruh dunia
• Karena masih dalam tahap awal, masukan dari proses penggunaan dapat berdampak langsung pada penyempurnaan alat ini

---

Alat latihan AI by Hand yang dibuat dengan Google Sheets

• Tujuannya adalah memungkinkan orang membuat soal latihan AI by Hand mereka sendiri dengan memasukkan angka dan jawaban kustom
• Setelah meninjau berbagai teknologi, diputuskan untuk menggunakan Google Sheets demi memperluas aksesibilitas
• Google Sheet untuk latihan Transformer telah dipublikasikan
  • Google Sheet

Keterbatasan kustomisasi manual dan permintaan masukan

• Selama beberapa bulan terakhir, materi latihan AI by Hand dikustomisasi melalui kolaborasi dengan beberapa pengajar AI
• Materi tersebut digunakan di berbagai kelas di seluruh dunia, dan seluruh proses kustomisasi dilakukan secara manual
• Dalam proses manual, kesalahan bisa masuk ke jawaban, dan ada kasus ketika siswa menemukannya
• Alat ini masih dalam tahap awal, sehingga masukan sangat diharapkan

[GN⁺]

Komentar Hacker News

• Saya benar-benar penasaran: setelah mencoba menirunya, orang merasa memahami apa sebenarnya?
  Kalau semua perkalian matriks dalam regresi linear dituliskan satu per satu, apakah itu bisa disebut benar-benar paham? Saya penasaran apakah cara implementasinya memang inti, atau apakah itu membangun intuisi yang lebih mendalam.
  Saya mengerti nilai visualisasinya, tetapi di luar itu saya belum begitu melihat manfaat edukatif nyatanya. Saya orang ML/matematika, tetapi sudah lebih dari 10 tahun tidak mengajar, jadi mungkin ada hal yang saya lewatkan.

  • Sepertinya justru efek sebaliknya yang ingin dicapai, dan setidaknya bagi saya begitu.
    Saat GPT-3 pertama kali muncul, meski punya latar belakang ML yang terbatas, rasanya hampir seperti sihir. Namun kemudian setelah menonton video Transformer dari 3blue1brown, matematikanya sendiri ternyata cukup sederhana sampai-sampai agak mengecewakan.
    Intinya adalah bahwa elemen-elemen dasar yang sederhana pun, jika diskalakan cukup besar, bisa menghasilkan hasil yang menakjubkan; rasanya seperti dari prinsip semacam Game of Life karya Conway dapat muncul perilaku emergen yang sangat kompleks dan berguna.
  • Contoh mainan seperti ini bernilai untuk memastikan apakah kita benar-benar memahami struktur intinya.
    Kita bisa melihat diagram atau persamaan yang menjelaskan blok Transformer, tetapi bagaimana beralih dari sana ke implementasi nyata adalah persoalan lain. Lewat contoh seperti ini, kita bisa memeriksa apa yang dihitung di mana, serta bagaimana dimensi vektor dan matriksnya.
    Bagi kebanyakan orang yang ingin memakai LLM, ini mungkin tidak perlu, tetapi secara pribadi saya suka menggali cara kerjanya sampai level yang sangat rendah. Contoh seperti ini jauh lebih mudah diutak-atik daripada kode sumber model Transformer sungguhan, dan setelah memahami contoh mainan, kode nyata juga jadi lebih mudah dipahami.
  • Di sisi fundamental, ada nilai edukatifnya. Terutama untuk mahasiswa CS yang lemah matematika, ini bisa menunjukkan bagaimana diferensiasi otomatis mengubah kalkulus menjadi aljabar matriks.
    Bagian lainnya juga berguna sebagai lembar kerja untuk diikuti bersama kuliah. Untuk coding saya lebih suka ipynb, tetapi untuk algoritma, perhitungan manual juga bagus. Kalau tidak melakukan hal seperti ini pada 2025, seperempat kelas mungkin akan melihat ponsel, dan tiga perempat sisanya mungkin tidak akan datang kuliah.
    Kalau Anda bisa membaca paper atau kode sumber sendiri dan tidak takut matematika, materi seperti ini mungkin bukan untuk Anda.
  • Visualisasi seperti ini bagus karena menghilangkan mistifikasi machine learning. Pada akhirnya itu hanyalah sebuah prosedur, dan menunjukkan bahwa tidak ada kecerdasan dalam makna manusiawi di dalamnya.

• Sebagai materi terkait untuk mengajarkan dasar-dasar AI dan intuisi tentang cara kerja internalnya, AI Unplugged[1] bagus. Aktivitasnya bisa dilakukan seperti permainan dengan alat seperti pena, pensil, dan kartu.
  Saya sudah beberapa kali memakainya untuk berbagai audiens yang tidak akrab dengan AI/ML, baik anak-anak maupun orang dewasa, dan setiap kali mereka menikmatinya serta tampaknya jadi sedikit lebih memahami dunia modern tempat mereka hidup.
  [1] http://www.aiunplugged.org

• Anda juga bisa membuat GPT-2 dengan Excel: https://www.youtube.com/watch?v=yjD2n_e9E3w&ab_channel=Sprea...

  • Masih mencengangkan: https://news.ycombinator.com/item?id=39700256

• Judulnya menyebut Spreadsheet dan sebenarnya memakai Google Sheets, jadi saya tidak tahu kenapa disebut Excel di sini.

  • Sekarang sudah dikembalikan. Judul yang dikirimkan adalah “Transformer Implemented Using Excel”.

• Bagus juga memakai fitur endpoint /copy Google Docs. Ini sangat mengurangi kerepotan saat mengajar.

• Bisa juga dibilang ini dapat diimplementasikan di dalam database seperti Postgres, dengan stored procedure, fungsi, dan trigger.
  Dalam satu sisi, database adalah spreadsheet dengan bahasa kueri yang jauh lebih kukuh.

• Thread HN yang mirip: https://news.ycombinator.com/item?id=42967173

• Sebagai materi yang layak dilihat bersama, ada dasar-dasar computer vision klasik yang diimplementasikan di Excel hanya dengan rumus: https://github.com/amzn/computer-vision-basics-in-microsoft-...
  Post asli yang diajukan ke HN: https://news.ycombinator.com/item?id=22357374
  Sebagai catatan, saya adalah penulis utamanya.