- Model Llama 3.3 70B dari Meta dengan performa setara GPT-4 kini dapat dijalankan di laptop biasa (MacBook Pro M2 64GB)
- Ini merupakan kemajuan besar yang dicapai sekitar 20 bulan setelah peluncuran LLaMA pada Maret 2023
- Model data sebesar 42GB diunduh dan dijalankan secara lokal melalui Ollama (juga bisa dijalankan dengan MLX milik Apple)
- Memerlukan RAM 64GB, dan karena penggunaan memori tinggi saat berjalan, disarankan menutup aplikasi lain yang intensif sumber daya
- Performa dan benchmark
- Di benchmark LiveBench, model ini berada di peringkat 19 teratas, menunjukkan performa lebih tinggi daripada Claude 3 Opus dan berada di tingkat yang mirip dengan GPT-4 Turbo
- Khususnya mencatat performa terbaik dalam evaluasi pemahaman instruksi (Instruction Following)
- Dapat melakukan berbagai tugas seperti pembuatan teks, penulisan kode, dan pembuatan gambar SVG
- Kini model yang semakin kuat dapat dijalankan bahkan di perangkat pribadi
- Model LLM lokal lain yang patut diperhatikan
- Qwen2.5-Coder-32B
- Model yang dikembangkan oleh tim riset Qwen Alibaba dan dirilis dengan lisensi Apache 2.0
- Menunjukkan performa sangat baik dalam tugas pembuatan kode dan dapat digunakan secara bebas
- Menjadi alat yang lebih bermakna bagi developer berkat lisensi open source
- QwQ
- Menerapkan pola chain-of-thought yang mirip dengan seri o1 dari OpenAI
- Dapat menyelesaikan masalah kompleks secara bertahap
- Mengesankan karena tetap dapat berjalan lancar di lingkungan lokal
- Llama 3.2 dari Meta
- Model berukuran 1B dan 3B dapat dijalankan bahkan di komputer kecil seperti Raspberry Pi
- Menawarkan performa sangat baik dibanding ukurannya, serta mencakup model visi multimodal berukuran 11B dan 90B dengan kemampuan pemrosesan gambar
- Tersedia berbagai pilihan, dari model kecil hingga model skala besar
- Model-model ini menunjukkan bahwa teknologi LLM dapat dijalankan di komputer pribadi biasa, tidak lagi terbatas pada hardware kelas server
- Terutama dengan perkembangan model open source, lingkungan bagi developer untuk bereksperimen dan menerapkannya secara bebas terus meluas
- Prospek ke depan
- Kemajuan besar diperkirakan terjadi dalam aspek multimodalitas dan efisiensi model
- Perkembangan diperkirakan akan terus berfokus pada pelaksanaan tugas yang praktis dan efisien, alih-alih AGI
- Bahkan dengan model saat ini, pekerjaan produktif selama beberapa tahun ke depan diperkirakan sudah memungkinkan
13 komentar
Di M1 Max 64GB juga seharusnya bisa jalan, kan?
Kalau orangnya memang sama sekali tidak tertarik pada komputer sih mungkin beda cerita, tapi untuk orang-orang di bidang ini saya kira punya sekitar 64GB itu sudah standar dasar..
Kalau tidak menangani data dalam jumlah besar, perbedaan antara 16 dan 64 bukan area yang benar-benar terasa signifikan.
Dengan RAM 8 GB pun pengembangan tetap lancar. Tidak semua pekerjaan membutuhkan memori sebesar itu.
Dengan RAM 64GB, sepertinya ini cukup mudah dijangkau.
Akhir-akhir ini DDR5 16GB untuk laptop harganya cuma sekitar 60.000 won.
Ada juga banyak laptop 64GB di kisaran 800.000 won.
Mac dengan RAM 64GB pada dasarnya berarti sama dengan VRAM 64GB, jadi kenyataannya titik awalnya mulai dari 300.
Mac seri M berbagi RAM antara CPU dan GPU, sehingga memberikan efek seolah kapasitas RAM GPU bertambah.
Setelah membaca artikel aslinya, setidaknya saya jadi agak paham judulnya. Karena ini tulisan yang intinya, penulis berhasil menjalankan model Llama di laptop pribadinya! Haha.
Apakah 64GB itu karena mempertimbangkan juga menjalankan program lain? Menurut saya, spesifikasi seperti itu tidak realistis untuk disebut sebagai PC kelas konsumen atau penggunaan pribadi.
Dalam konteks seperti ini, komputer pribadi biasanya hanya berarti 'dijual di pasar B2C dan bisa dibeli (terlepas dari harganya)'. Rasanya ini masih jauh dari 'bisa digunakan oleh semua orang'.
Kondisinya beragam. Saya juga memakai MacBook Pro 96GB untuk penggunaan pribadi, dan meskipun bukan untuk pengembangan terkait LLM, swap tetap sering penuh.
RAM 64GB di laptop biasa...?? T_T
Mungkin lebih tepat menyebutnya sebagai perangkat keras kelas konsumen.