Spreadsheets are all you need - Belajar AI dengan spreadsheet

 (spreadsheets-are-all-you-need.ai)
21 poin oleh GN⁺ 2024-03-15 | 2 komentar | Bagikan ke WhatsApp

Belajar AI dengan Excel

  • Mempelajari cara kerja AI melalui LLM nyata yang diimplementasikan di Excel
  • Mengimplementasikan forward pass GPT-2 hanya dengan fungsi Excel tanpa pemanggilan API eksternal
  • Bertujuan menunjukkan bahwa jika Anda bisa memahami spreadsheet, Anda bisa memahami AI
  • Pelajaran 1: Memahami GPT dengan Excel
  • Pelajaran 2: Byte Pair Encoding dan tokenisasi
  • Tambahan: melihat detail implementasi Excel secara mendalam (ditujukan bagi yang memahami Transformers)
  • Tersedia dalam format XLSB (Excel Binary) sehingga bisa diunduh dan dijalankan (bisa di Mac/Windows, tetapi Windows direkomendasikan)
  • Batasan implementasi
    • Model GPT2 kecil lengkap (124M parameter), termasuk tahap BPE, multi-head attention, dan multilayer perceptron
    • Hanya mendukung inferensi/forward pass (tanpa pelatihan)
    • Konteks dibatasi pada panjang 10 token
    • Batas 10 karakter per kata
    • Hanya mendukung keluaran zero temperature

FAQ

  • Tentang Google Sheets: proyek ini dimulai di Google Sheets, tetapi seluruh model menjadi terlalu besar sehingga dipindahkan ke Excel. Cara agar tetap berjalan di Google Sheets masih dieksplorasi, tetapi kemungkinan tidak akan cocok sebagai satu file seperti di Excel.
  • Mengapa tidak bisa dipakai bercakap-cakap seperti ChatGPT: selain panjang konteks yang sangat pendek, proyek ini juga tidak memiliki instruction tuning dan reinforcement learning from human feedback (RLHF) yang dibutuhkan untuk menjadikannya chatbot interaktif.
  • Asal nama: nama "Spreadsheets-are-all-you-need" merupakan permainan dari judul makalah terkenal "Attention Is All You Need", yang pertama kali menjelaskan arsitektur pembelajaran mesin Transformer.

Pendapat GN⁺

  • Proyek ini membantu meningkatkan aksesibilitas terhadap AI dan machine learning. Dengan memakai alat yang akrab seperti Excel untuk memahami teknologi yang kompleks, proyek ini memberi kesempatan bagi nonspesialis untuk mempelajari prinsip dasar AI.
  • Implementasi melalui Excel berguna untuk memahami secara visual bagaimana model AI nyata bekerja, tetapi bukan sesuatu yang digunakan untuk pengembangan AI yang sebenarnya. Karena itu, mempelajari AI dengan cara ini tidak serta-merta menjadikan seseorang pengembang AI profesional.
  • Alat pembelajaran seperti ini dapat meningkatkan minat publik terhadap AI dan berkontribusi pada demokratisasi teknologi AI. Namun, saat membangun sistem AI nyata, tetap dibutuhkan alat dan framework yang lebih profesional.
  • Proyek serupa untuk tujuan edukasi antara lain Google Machine Learning Crash Course atau kursus Machine Learning oleh Profesor Andrew Ng di Coursera. Kursus-kursus ini menggabungkan teori dan praktik untuk memberikan pembelajaran yang lebih mendalam.
  • Saat mengadopsi teknologi ini, penting untuk memahami bahwa pendekatannya berbeda dari pengembangan model AI yang sebenarnya. Proyek ini berfokus pada tujuan pendidikan, dan dalam proyek pengembangan AI nyata umumnya digunakan framework AI profesional seperti TensorFlow dan PyTorch.

Bacaan terkait

2 komentar

 
GN⁺ 2024-03-15
Opini Hacker News

  • Sapaan dan ucapan terima kasih dari kreator

    • Pembuat proyek: Terima kasih telah membagikan postingan ini, dan berharap bisa menjawab pertanyaan atau saran serta membantu orang-orang memahami LLM (Large Language Models) dengan lebih baik. Video berikutnya akan membahas embeddings dan diperkirakan segera selesai.

  • Mengajarkan jaringan saraf dengan spreadsheet

    • Jeremy Howard: Selama bertahun-tahun telah mengajarkan jaringan saraf (NNs) menggunakan spreadsheet, dan metode ini bersifat edukatif serta intuitif.

  • Menjelaskan jaringan saraf dengan spreadsheet

    • Sekarang, alih-alih mengatakan "ini cuma curve fitting", bisa menjelaskannya kepada teman-teman sebagai "ini cuma spreadsheet".

  • Berbagi tautan spreadsheet

  • Pertanyaan tentang perlunya RLHF

    • Muncul pertanyaan apakah instruction tuning dan reinforcement learning from human feedback (RLHF), yang diperlukan untuk mengubah large language model menjadi chatbot, sebenarnya bisa saja tidak diperlukan.

  • Kekaguman pada cara GPT-2 diimplementasikan di spreadsheet

    • Sangat mengesankan bagaimana GPT-2 diimplementasikan di spreadsheet, dan ada pertanyaan kepada penulis apakah proyek ini akan menjadi open source.

  • Kemungkinan mengimplementasikan GPT-3 atau GPT-4 di spreadsheet

    • Ada rasa penasaran tentang alasan spreadsheet tidak dapat mengimplementasikan GPT-3 atau GPT-4.

  • Proyek hebat yang membantu memahami LLM

    • Proyek ini sangat bagus dan telah dibagikan kepada 7 orang agar membantu mereka memahami LLM (Large Language Models).

  • Berbagi contoh penyelesaian PDE di Excel

    • Dibagikan bahwa ada contoh penyelesaian persamaan diferensial parsial (PDEs) di Excel. Sudah tahu tentang FFT (Fast Fourier Transform) dan fungsi khusus, tetapi ini terlihat menarik dan menyenangkan.

  • Perusahaan AI dengan bank investasi sebagai pelanggan

    • Ide perusahaan AI yang menjadikan bank investasi sebagai pelanggan terdengar sangat cerdas.