Lupakan ChatGPT: mengapa para peneliti kini menjalankan AI kecil di laptop

(nature.com)

30 poin oleh GN⁺ 2024-09-22 | 7 komentar | Bagikan ke WhatsApp

Model kecerdasan buatan (AI) umumnya digunakan secara online, tetapi berbagai alat terbuka sedang mengubah hal ini
Bioinformatikawan Chris Thorpe menggunakan model bahasa besar (LLM), alat AI, untuk mengubah histo.fyi, basis data molekul major histocompatibility complex (MHC), protein sistem imun, menjadi ringkasan yang mudah dibaca
Thorpe menjalankan AI di laptop alih-alih memakai LLM berbasis web seperti ChatGPT

Tren terbaru LLM

Berbagai organisasi membuat versi LLM dengan 'bobot terbuka' sehingga pengguna dapat mengunduh dan menjalankannya secara lokal jika memiliki kemampuan komputasi yang memadai
Perusahaan teknologi juga membuat versi yang diperkecil dan dapat berjalan di perangkat keras konsumen, dengan performa yang menyaingi model besar sebelumnya

Mengapa peneliti menggunakan model lokal

Penghematan biaya
Perlindungan kerahasiaan pasien atau perusahaan
Menjamin reprodusibilitas
Seiring komputer makin cepat dan model makin efisien, orang akan semakin sering menjalankan AI di laptop atau perangkat mobile

Contoh model kecil berbobot terbuka yang baru dirilis

Google DeepMind, Meta, Allen Institute for Artificial Intelligence, dan lainnya telah merilis model dengan miliaran parameter
Microsoft telah merilis model bahasa kecil seperti Phi-1, Phi-1.5, Phi-2, Phi-3, dan Phi-3.5, beberapa di antaranya juga dapat memproses gambar
Sébastien Bubeck, wakil presiden generative AI di Microsoft, menjelaskan bahwa performa Phi-3 berasal dari dataset pelatihannya

Pengembangan aplikasi kustom

Peneliti dapat mengembangkan aplikasi kustom berdasarkan alat-alat ini
Alibaba dari Tiongkok membangun model bernama Qwen, dan seorang ilmuwan biomedis di New Hampshire melakukan fine-tuning dengan data ilmiah untuk membuat Turbcat-72b

Perlindungan privasi

Keunggulan lain model lokal adalah perlindungan privasi
Mengirim informasi identitas pribadi ke layanan komersial dapat melanggar regulasi perlindungan data
Dokter Cyril Zakka, yang memimpin tim kesehatan di Hugging Face, menggunakan model lokal untuk menghasilkan data pelatihan bagi model lain
Johnson Thomas, ahli endokrinologi di sistem kesehatan Mercy di Springfield, sedang mengembangkan sistem berbasis OpenAI Whisper dan Gemma 2 dari Google DeepMind untuk menyalin dan merangkum percakapan dokter-pasien demi menjaga privasi pasien
CELLama, yang dikembangkan oleh perusahaan farmasi Portrai di Seoul, memanfaatkan LLM lokal untuk meringkas informasi tentang ekspresi gen sel dan karakteristik lainnya menjadi kalimat ringkas, sambil menonjolkan privasi sebagai keunggulan utama

Pemanfaatan model

Para peneliti menghadapi pilihan LLM yang berubah sangat cepat
Thorpe saat ini menggunakan Llama di laptopnya, dan mengatakan bahwa model lokal punya keunggulan dari sisi reprodusibilitas karena tidak berubah
Thorpe sedang menulis kode untuk menyusun molekul MHC berdasarkan struktur 3D, dan menggunakan model berbobot terbuka bernama ProtGPT2 untuk merancang protein baru
Namun terkadang aplikasi lokal tidak cukup, dan Thorpe menggunakan GitHub Copilot berbasis cloud untuk coding

Cara mengakses

LLM dapat dijalankan secara lokal menggunakan perangkat lunak seperti Ollama, GPT4All, dan Llamafile
Pengguna dapat memilih aplikasi atau command line sesuai preferensi
Stephen Hood dari Mozilla mengatakan bahwa LLM lokal akan segera cukup baik untuk sebagian besar aplikasi

Pendapat GN+

LLM lokal bisa menjadi alat yang sangat berguna bagi peneliti karena menawarkan keunggulan seperti penghematan biaya, perlindungan privasi, dan jaminan reprodusibilitas
Namun, dalam beberapa kasus layanan berbasis cloud dapat memberikan performa yang lebih baik, sehingga peneliti perlu memilih alat yang sesuai dengan kebutuhan aplikasinya
Karena perkembangan LLM lokal berlangsung sangat cepat, peneliti perlu terus mengeksplorasi dan bereksperimen dengan model serta alat baru
Selain itu, tergantung bidang penelitiannya, mengembangkan model kustom juga patut dipertimbangkan. Misalnya, peneliti biomedis dapat melakukan fine-tuning model dengan data medis untuk memperoleh performa yang lebih baik
Karena LLM lokal masih berada pada tahap awal, peneliti perlu menyadari potensi masalah dan keterbatasan yang dapat muncul saat memanfaatkannya. Misalnya, bias model, kualitas data, dan pertimbangan etis perlu ditinjau dengan cermat

7 komentar

savvykang 2024-09-24

Untuk saat ini masih panas, lambat, dan tidak akurat. Untuk ukuran Nature, kualitas artikelnya rendah.

yangeok 2024-09-24

Kalau dijalankan di edge, bukannya lambat dan akurasinya rendah ya,,

kandk 2024-09-23

Pada dasarnya, kecuali untuk domain yang memang punya isu latency dan privasi, tidak ada alasan untuk memakai edge computing (lokal)..
Hampir semua data di dunia sudah diproses oleh AWS dan Google, jadi sekarang baru bicara soal privasi itu cuma taktik dagang perusahaan-perusahaan yang tidak punya teknologi untuk membuat LLM..

lcanon 2024-09-22

Meskipun kata small muncul di judul artikel Nature, inti dari sebagian besar isinya tampaknya adalah local.

dohyun682 2024-09-22

Selalu saja diminta melupakan ChatGPT...