‘Kekurangan GPU’ Semoga Abadi — Hibah AI Open Source

 (a16z.com)
1 poin oleh GN⁺ 2023-09-01 | 1 komentar | Bagikan ke WhatsApp
  • a16z memandang AI open source sebagai fondasi inti ekosistem AI, dan memulai Open Source AI Grant untuk mengurangi kesenjangan sumber daya para developer
  • Seiring makin banyak model open source yang bersaing dengan model tertutup, pekerjaan fine-tuning dan optimasi oleh individu dan tim kecil meningkatkan kegunaan model
  • Dukungan ditujukan untuk proyek yang memperluas batas teknis seperti instruction-tuning, LLM tanpa sensor, kuantisasi untuk menjalankan secara lokal, alat inferensi, dan riset keamanan LLM
  • AI open source membutuhkan banyak sumber daya komputasi GPU bahkan untuk fine-tuning saat skala model membesar, sehingga beban sumber dayanya lebih besar daripada proyek infrastruktur tradisional
  • Hibah ini bukan investasi atau SAFE note, dan penerima dapat melanjutkan pekerjaan open source tanpa tekanan untuk menghasilkan keuntungan finansial

Pengumuman a16z Open Source AI Grant

  • a16z mendukung sejumlah kecil developer open source melalui program Open Source AI Grant dalam bentuk hibah
  • Dana dukungan ini bukan investasi maupun SAFE note, dan dirancang untuk membantu developer terus bekerja tanpa tekanan harus menghasilkan keuntungan finansial
  • a16z meyakini ekosistem open source yang berkembang sangat penting untuk membentuk masa depan AI

AI open source yang bersaing dengan model tertutup

  • Di ekosistem open source, mulai muncul model open source yang bersaing dengan alternatif tertutup
  • Ratusan tim kecil dan individu sedang bekerja untuk membuat model lebih berguna, lebih mudah diakses, dan berkinerja lebih baik
  • Proyek-proyek ini mendorong naiknya tingkat teknologi AI open source dan membantu pemahaman yang lebih kuat serta lebih menyeluruh terhadap teknologi tersebut

Mengapa sumber daya GPU menjadi bottleneck

  • Orang-orang yang membangun proyek sering kali kekurangan sumber daya untuk menuntaskan pekerjaan atau mempertahankannya dalam jangka panjang
  • Dalam proyek AI, masalah sumber daya muncul lebih besar dibanding infrastruktur tradisional
    • Bahkan fine-tuning model pun membutuhkan sumber daya komputasi GPU yang signifikan
    • Semakin besar model open source, semakin besar pula sumber daya yang dibutuhkan

Area kerja yang menjadi sasaran hibah

  • Dukungan mencakup berbagai pekerjaan yang meningkatkan kepraktisan model dan alat AI open source
    • instruction-tuning untuk LLM dasar
    • Fine-tuning LLM tanpa sensor
    • Optimasi untuk menjalankan model di mesin berdaya rendah
    • Membangun alat baru untuk inferensi model
    • Riset isu keamanan LLM
    • Pekerjaan lain terkait AI open source

Penerima hibah pertama dan proyeknya

Bacaan terkait

1 komentar

 
GN⁺ 2023-09-01
Komentar Hacker News

  • Saya salah satu penerima AI grant, dan sangat berterima kasih kepada a16z karena mendukung pekerjaan yang dilakukan di fast.ai
    Grant saya dipakai untuk membeli server Scalar dari Lambda Labs, dan bisa dikonfigurasi dengan 8 GPU A6000 generasi sebelumnya
    Ini juga berkat NVIDIA yang baru-baru ini menyediakan 3 di antaranya, serta Lambda Labs yang menyediakannya dengan harga pokok
    a16z sama sekali tidak meminta ekuitas atau imbalan apa pun selain mengumumkan bahwa mereka memberikan grant ini, dan prosesnya sangat mulus
    Formulirnya hampir tidak ada, saya hanya menandatangani kontrak satu halaman; kontraknya jelas dan adil, secara eksplisit menyatakan bahwa a16z tidak memperoleh hak apa pun, dan pembayaran untuk pembelian server juga langsung ditransfer

    • Yang dimaksud GPU A6000 generasi sebelumnya di sini adalah pembedaan antara “RTX A6000” dan “RTX 6000 Ada Generation”
      Yang pertama memakai arsitektur Ampere, setara dengan seri GeForce 30, sementara yang kedua memakai arsitektur Ada, setara dengan seri GeForce 40
      Nvidia tampaknya yakin bahwa mereka boleh memberi nama generasi teknologinya seburuk USB Implementers Forum
    • Fakta bahwa a16z tidak meminta ekuitas atau imbalan apa pun selain mengumumkan pemberian grant, dan kontraknya menyatakan mereka tidak memperoleh hak apa pun, terasa seperti pendekatan yang cukup murah hati dan sinyal kuat bahwa mereka adalah pelaku bisnis yang jujur
    • Senang sekali melihat dukungan diberikan tanpa syarat apa pun ke tempat yang membutuhkan, kepada orang yang akan menghargainya
      Semoga hal seperti ini semakin banyak, dan semoga sukses untuk pekerjaan jph00

  • Teman-teman HN, saya sangat senang mengumumkan inisiatif baru ini
    Program ini dirancang untuk mendukung individu, tim, dan hacker yang tidak sedang mengejar perusahaan komersial
    Meski begitu, proyek-proyek seperti ini mendorong garis depan AI open source dan membantu kita memahami proses kemajuan teknologi secara lebih kokoh dan inklusif
    Saya bangga bisa memberi kontribusi meski kecil, dan berterima kasih kepada cohort pertama serta semua orang yang berkontribusi di bidang ini

    • Menurut saya ini proyek yang bagus
      Saya penasaran, jika individu ingin berkontribusi ke bidang ini dengan berbagai ide data pelatihan, apakah mereka harus lebih dulu membuktikan diri agar mendapat perhatian, atau ada cara untuk mengajukan proposal
      Dalam kasus saya, biaya komputasinya cukup mahal; saya bisa menanggung beberapa pengujian proof-of-concept, tetapi sulit lebih dari itu, dan dengan satu 4090 saya tidak bisa menjalankan llama70b lebih cepat dari 1it/s
    • Saya penasaran dari mana GPU-nya diperoleh

  • Senang sekali melihat oobabooga ada di daftar
    Semua orang berkontribusi dengan cara masing-masing, dan ooba berperan sebagai portal yang sangat bagus untuk mencoba berbagai model
    Di README juga tertulis bahwa mereka ingin menjadi semacam automatic 1111 untuk bidang text generation
    Bagi pemula seperti saya, ooba adalah titik masuk yang bagus untuk menjelajahi dunia baru ini

  • Melihat para penerima grant saat ini, saya ingin mengucapkan selamat
    Semuanya individu atau tim yang berdampak besar, dan terlihat jelas bahwa mereka telah meneliti dengan baik lalu menaruh uang di tempat yang memang seharusnya

  • Pertanyaan pemula: dengan 25.000 dolar, apakah saya bisa membeli beberapa GPU dan ikut membantu “GPU Poor”?
    Saya penasaran apakah ada semacam panduan DIY untuk membangun hal seperti ini sendiri
    Saya tidak terlalu ingin menyumbangkan uang tunai, melainkan ingin menyiapkan beberapa GPU dengan suatu cara agar orang-orang bisa memakainya dengan harga pokok

    • 25K cukup untuk menyewa server, atau merakit kira-kira sesuatu seperti mesin 8x4090
      Server 8xA100, 8xH100 yang ingin dijalankan kebanyakan orang harganya lebih dari 200 ribu dolar, dan meski punya uang pun kemungkinan sangat sulit didapat saat ini
    • Dengan vast.ai, Anda bisa mulai menyediakan hal seperti ini, dan dokumentasi hosting-nya juga cukup banyak: https://vast.ai/docs/hosting/hosting
      Mungkin tidak bisa dibatasi untuk kelompok pengguna tertentu, tetapi pengguna vast.ai kemungkinan besar adalah perusahaan kecil, individu, dan peneliti, bukan perusahaan raksasa, jadi pada praktiknya itu membantu “GPU Poor”
    • Dengan anggaran itu, jujur saya lebih menyarankan memakai instance spot/sewaan daripada membeli
      A100 sekitar 2 dolar per jam, dan bagian sulitnya adalah mendapatkan kuota besar
      Pekerjaan training pada akhirnya memang cukup naik-turun, dan sering kali orang menjalankan banyak eksperimen kecil sebelum satu run besar
    • Bukan bermaksud menuduh ada niat buruk, tapi ini rasanya lebih mirip membeli kondominium lalu membayar cicilan pinjaman dari uang sewa daripada menyumbangkan sumber daya
    • Asumsikan lokasinya Pantai Timur, New York

  • Ini benar-benar keren
    Senang melihat banyak tool yang saya pakai ada di daftar dan mendapat dukungan finansial
    Semoga Ollama juga segera masuk daftar
    Saya punya ide menarik yang ingin dicoba, mungkin butuh beberapa jam 8X A100 dan data bergaya EvolveInstruct, jadi sepertinya akan menghabiskan lebih dari 1.000 dolar
    Saya akan mencoba menyiapkan kode untuk melihat apakah bisa bergabung di grant #2

    • Bagus, semoga MVP-nya berjalan lancar
      Terima kasih banyak atas masukannya, dan kami juga sedang bertemu dengan orang-orang dari Ollama

  • Apa saja proyek LLM open source lain yang diandalkan orang-orang?
    Ini dalam rangka mencari ide penerima grant mendatang
    Inisiatifnya bagus dan pilihan pertama juga hebat, serta merupakan cara yang sangat baik untuk menggunakan management fee
    Sulit memikirkan kandidat tambahan karena tempat-tempat yang mungkin saya rekomendasikan, seperti TheBloke, vLLM, dan oobabooga, sudah termasuk
    Untuk kandidat penerima di masa depan, yang terpikir adalah MLC LLM, ExLlama, fork open source dari text-generation-inference, dan AutoGPTQ

    • Saran yang bagus, terima kasih

  • Selamat kepada semua yang terlibat
    Meski saya tahu ini sampai batas tertentu punya motivasi branding/marketing, saya senang melihat a16z belakangan ini lebih mengarah pada menyelesaikan masalah nyata daripada crypto atau produksi media dangkal beberapa tahun terakhir
    Semoga mereka terus seperti ini, dan semoga lebih banyak “thought leader” serta venture capital ikut mengikuti

    • Tidak, mereka masih sedang menyelamatkan dunia
      Bedanya sekarang bukan dengan crypto, melainkan dengan AI
      https://a16z.com/2023/06/06/ai-will-save-the-world/
    • Saya setuju bahwa inisiatif ini membantu menyelesaikan masalah nyata
      Namun, meski bukan bermaksud membela “Crypto”, saya rasa standar untuk disebut menyelesaikan masalah nyata cukup subjektif
      Misalnya, bagi banyak orang dan perusahaan, meningkatkan rasio klik iklan dan mengurangi biaya crypto/gas juga bisa menjadi masalah nyata dan kebutuhan, hanya saja masalah itu tidak penting bagi saya

  • Mengejutkan
    Pilihan pertama benar-benar solid, dan sebagian besar eksperimen organik yang terjadi secara alami bergantung langsung pada mereka

  • Saya sangat senang “Eric Hartford: fine-tuning LLM tanpa sensor” berjalan
    LLM akan menjadi tool yang sangat berharga, dan cukup mengkhawatirkan jika sensor tertanam di dalam tool semacam ini
    Bayangkan saja situasi ketika Word, atas nama keamanan dan etika, mencegah kita mengetik “kata-kata buruk”