Momen Stable Diffusion sedang datang ke LLM

xguru · 2023-03-13T11:40:39+09:00

Perilisan Stable Diffusion (SD) pada Agustus 2022 adalah momen penting, dan sejak itu inovasi yang eksplosif masih terus berlangsung Belakangan ini, dalam hal fitur ControlNet telah melampaui MidJourney dan DALL-E Perilisan SD memicu minat baru terhadap AI generatif, dan gelombang itu makin membesar dengan peluncuran ChatGPT pada November Momen SD juga sedang datang ke large language model (LLM) Kini model bahasa sekelas GPT-3 bisa dijalankan di laptop pribadi LLaMA LLM seperti GPT-3 jauh lebih mahal untuk dibangun dan dioperasikan dibanding model pembuat gambar Model terbaik dibuat oleh perusahaan seperti OpenAI dan dapat diakses lewat API, tetapi tidak dirilis agar bisa dijalankan langsung Modelnya sendiri juga besar, sehingga meskipun mendapatkan model GPT-3, model itu tetap tidak bisa dijalankan di hardware komersial (membutuhkan beberapa GPU kelas A100 yang harganya lebih dari $8000 per unit) Selama beberapa tahun terakhir banyak model bahasa telah dirilis, tetapi kebanyakan tidak cocok untuk dijalankan langsung Semua itu berubah berkat model LLaMA dari Facebook dan LLama.cpp LLaMA bukan sepenuhnya terbuka. Untuk mengakses modelnya, pengguna harus menyetujui beberapa syarat yang ketat Seseorang mengunggah PR tidak resmi yang bisa diunduh lewat torrent, sehingga model itu pun menjadi bisa diunduh llama.cpp Jika LLaMA sulit dijalankan di laptop pribadi, maka nilainya tidak terlalu besar Georgi Gerganov dari Bulgaria sebelumnya membuat Whisper.cpp, port C++ dari model pengenalan suara Whisper milik OpenAI Ia melakukan hal yang sama untuk LLaMA Dengan menggunakan kuantisasi 4-bit (teknik untuk mengecilkan ukuran model agar bisa berjalan di hardware yang lebih lambat), targetnya adalah menjalankannya bahkan di MacBook Ukuran model juga diperkecil menjadi 4GB untuk model 7B, dan di bawah 8GB untuk model 13B Ini berjalan sangat baik di MacBook Model 13B yang diklaim Facebook mampu bersaing dengan GPT-3 kini bisa dijalankan di laptop Saat melihat teks dihasilkan di laptop, terasa seperti dunia berubah lagi Saya kira perlu menunggu beberapa tahun lagi agar model sekelas GPT-3 bisa dijalankan di perangkat yang saya miliki, tetapi saya salah. "Masa depan sudah ada di sini" Apakah ini skenario terburuk? Ini bukan kekhawatiran tentang skenario seperti fiksi ilmiah. LLM yang berjalan di laptop juga tidak akan menjadi "AGI yang menguasai dunia" Namun ada banyak cara teknologi ini bisa dipakai untuk tujuan buruk Pembuatan spam, penipuan romansa otomatis, trolling dan ujaran kebencian, berita palsu dan disinformasi, radikalisasi otomatis Sebelum momen ini, ada semacam lapisan pertahanan tipis dari perusahaan seperti OpenAI yang mengendalikan bagaimana orang berinteraksi dengan model-model semacam ini Tetapi sekarang karena bisa dijalankan di hardware masing-masing, fungsi kontrol seperti itu sendiri menghilang Bagaimana menggunakannya untuk tujuan baik? Saya pikir ini akan memberi dampak besar pada masyarakat. Prioritas saya adalah mengarahkan dampak ini ke arah yang positif Mudah terjebak dalam pandangan sinis bahwa AI generatif itu berbahaya atau sekadar membuang waktu Secara pribadi saya menggunakan alat AI generatif setiap hari. Ini memberi peningkatan produktivitas yang nyata, dan yang lebih penting, memperluas ambisi saya terhadap proyek-proyek yang saya kerjakan Minggu lalu saya mempelajari AppleScript yang dibutuhkan untuk proyek baru hanya dalam satu jam dengan bantuan ChatGPT Saya akan terus mengeksplorasi dan membagikan cara-cara penerapan positif dari teknologi ini Hal yang perlu diperhatikan berikutnya Kecuali Facebook melonggarkan syarat lisensinya, LLaMA kemungkinan hanya akan berakhir sebagai PoC bahwa model semacam ini dapat berjalan di hardware konsumen Kini telah dimulai perlombaan untuk merilis model bahasa yang sepenuhnya terbuka dan dapat memberikan fungsi seperti ChatGPT di perangkat milik pengguna sendiri

(simonwillison.net)

37 poin oleh xguru 2023-03-13 | 3 komentar | Bagikan ke WhatsApp

Perilisan Stable Diffusion (SD) pada Agustus 2022 adalah momen penting, dan sejak itu inovasi yang eksplosif masih terus berlangsung
Belakangan ini, dalam hal fitur ControlNet telah melampaui MidJourney dan DALL-E
Perilisan SD memicu minat baru terhadap AI generatif, dan gelombang itu makin membesar dengan peluncuran ChatGPT pada November
Momen SD juga sedang datang ke large language model (LLM)
Kini model bahasa sekelas GPT-3 bisa dijalankan di laptop pribadi

LLaMA

LLM seperti GPT-3 jauh lebih mahal untuk dibangun dan dioperasikan dibanding model pembuat gambar
Model terbaik dibuat oleh perusahaan seperti OpenAI dan dapat diakses lewat API, tetapi tidak dirilis agar bisa dijalankan langsung
Modelnya sendiri juga besar, sehingga meskipun mendapatkan model GPT-3, model itu tetap tidak bisa dijalankan di hardware komersial (membutuhkan beberapa GPU kelas A100 yang harganya lebih dari $8000 per unit)
Selama beberapa tahun terakhir banyak model bahasa telah dirilis, tetapi kebanyakan tidak cocok untuk dijalankan langsung
Semua itu berubah berkat model LLaMA dari Facebook dan LLama.cpp
LLaMA bukan sepenuhnya terbuka. Untuk mengakses modelnya, pengguna harus menyetujui beberapa syarat yang ketat
Seseorang mengunggah PR tidak resmi yang bisa diunduh lewat torrent, sehingga model itu pun menjadi bisa diunduh

llama.cpp

Jika LLaMA sulit dijalankan di laptop pribadi, maka nilainya tidak terlalu besar
Georgi Gerganov dari Bulgaria sebelumnya membuat Whisper.cpp, port C++ dari model pengenalan suara Whisper milik OpenAI
Ia melakukan hal yang sama untuk LLaMA
Dengan menggunakan kuantisasi 4-bit (teknik untuk mengecilkan ukuran model agar bisa berjalan di hardware yang lebih lambat), targetnya adalah menjalankannya bahkan di MacBook
Ukuran model juga diperkecil menjadi 4GB untuk model 7B, dan di bawah 8GB untuk model 13B
Ini berjalan sangat baik di MacBook
Model 13B yang diklaim Facebook mampu bersaing dengan GPT-3 kini bisa dijalankan di laptop
Saat melihat teks dihasilkan di laptop, terasa seperti dunia berubah lagi
Saya kira perlu menunggu beberapa tahun lagi agar model sekelas GPT-3 bisa dijalankan di perangkat yang saya miliki, tetapi saya salah. "Masa depan sudah ada di sini"

Apakah ini skenario terburuk?

Ini bukan kekhawatiran tentang skenario seperti fiksi ilmiah. LLM yang berjalan di laptop juga tidak akan menjadi "AGI yang menguasai dunia"
Namun ada banyak cara teknologi ini bisa dipakai untuk tujuan buruk
- Pembuatan spam, penipuan romansa otomatis, trolling dan ujaran kebencian, berita palsu dan disinformasi, radikalisasi otomatis
Sebelum momen ini, ada semacam lapisan pertahanan tipis dari perusahaan seperti OpenAI yang mengendalikan bagaimana orang berinteraksi dengan model-model semacam ini
Tetapi sekarang karena bisa dijalankan di hardware masing-masing, fungsi kontrol seperti itu sendiri menghilang

Bagaimana menggunakannya untuk tujuan baik?

Saya pikir ini akan memberi dampak besar pada masyarakat. Prioritas saya adalah mengarahkan dampak ini ke arah yang positif
Mudah terjebak dalam pandangan sinis bahwa AI generatif itu berbahaya atau sekadar membuang waktu
Secara pribadi saya menggunakan alat AI generatif setiap hari. Ini memberi peningkatan produktivitas yang nyata, dan yang lebih penting, memperluas ambisi saya terhadap proyek-proyek yang saya kerjakan
Minggu lalu saya mempelajari AppleScript yang dibutuhkan untuk proyek baru hanya dalam satu jam dengan bantuan ChatGPT
Saya akan terus mengeksplorasi dan membagikan cara-cara penerapan positif dari teknologi ini

Hal yang perlu diperhatikan berikutnya

Kecuali Facebook melonggarkan syarat lisensinya, LLaMA kemungkinan hanya akan berakhir sebagai PoC bahwa model semacam ini dapat berjalan di hardware konsumen
Kini telah dimulai perlombaan untuk merilis model bahasa yang sepenuhnya terbuka dan dapat memberikan fungsi seperti ChatGPT di perangkat milik pengguna sendiri

3 komentar

ffdd270 2023-03-13

Ada pembahasan bahwa ini bisa berjalan di MacBook, jadi untuk cara menyiapkan LLAMA di MacBook silakan lihat ini: https://dev.l1x.be/posts/2023/03/12/using-llama-with-m1-mac/

(Tidak masalah juga kalau ada orang lain yang mengangkat ini sebagai berita 'm' b)

dkmin 2023-03-15

Terima kasih sudah berbagi

xguru 2023-03-13

Ini tulisan dari Simon Willison, yang sudah akrab bagi pembaca GeekNews.
Sesuai pendapatnya, kalau model bahasa seperti ini bisa dijalankan di perangkat pribadi, saya rasa "ambisi/cakupan implementasi untuk sebuah proyek akan meluas".
Bahkan saat saya ingin menambahkan fitur terkait ChatGPT ke GeekNews, saya jadi berpikir dua kali karena biaya API.
Karena sekarang LLM dengan tingkat kemampuan yang cukup layak sudah bisa dijalankan di perangkat pribadi, saya berharap akan muncul cakupan aplikasi yang lebih beragam.

Seperti yang juga saya tulis di GeekNews Weekly yang terbit hari ini,
agar tren teknologi terus dibicarakan, yang penting adalah seberapa jauh bisnis nyata berbasis teknologi tersebut dibuat hingga cukup membantu pengguna lalu dirilis.