Panduan Menjalankan Llama 2 Secara Lokal

• Anda dapat menjalankan Llama 2 di perangkat Anda sendiri tanpa koneksi internet.
• Ada tiga alat open source untuk menjalankan Llama 2 secara lokal: Llama.cpp, Ollama, dan MLC LLM.
• Llama.cpp adalah port Llama berbasis C/C++ yang mendukung Mac, Windows, dan Linux.
• Ollama adalah aplikasi macOS yang memungkinkan Anda menjalankan Llama 2 melalui antarmuka baris perintah.
• Dengan MLC LLM, Anda dapat menjalankan Llama 2 di ponsel, termasuk iOS dan Android.
• Ollama merekomendasikan minimal 8GB RAM untuk menjalankan model 3B, 16GB untuk model 7B, dan 32GB untuk model 13B.
• MLC LLM mendukung versi 7B, 13B, dan 70B dari Llama 2, tetapi masih dalam versi beta untuk pengguna iPhone.
• Anda dapat membagikan karya Anda dan mendapatkan dukungan di komunitas Discord.
• Replicate menyediakan opsi untuk menjalankan dan melakukan fine-tuning Llama 2 di cloud.

[haebom]

Saya menjalankannya di Mac Studio M2 secara lokal, dan berjalan dengan baik.

[GN⁺]

Komentar Hacker News

• Pengguna memberikan panduan untuk membangun Llama 2 di Windows, termasuk pemasangan CUDA Toolkit dan pengunduhan model.
• Fungsi PowerShell untuk mempermudah menjalankan Llama 2 dibagikan.
• Disebutkan siaran live coding untuk fine-tuning Llama 2 di Google Colab A100 GPU menggunakan PEFT/Lora.
• Seorang komentator menyarankan inferensi Hugging Face untuk menggunakan GPU pada mesin Linux.
• Dibagikan fork dari kode asli Llama 2 yang dapat dijalankan di CPU atau MPS (GPU M1/M2).
• GPT4All direkomendasikan agar Llama 2 lebih mudah digunakan di MacOS atau Windows.
• Muncul peringatan tentang mem-pipe skrip langsung dari situs web ke bash.
• Seorang komentator membahas potensi Llama 2 untuk menafsirkan dan menggunakan gambar.
• Muncul pertanyaan tentang tujuan penggunaan Llama 2 di luar riset.
• Disebutkan keterbatasan model LLM, termasuk penolakannya untuk membuat objek JSON tentang film 'The Matrix'.