LM Studio - Alat yang Memudahkan Menjalankan LLM Secara Lokal

 (lmstudio.ai)
11 poin oleh GN⁺ 2023-11-23 | 1 komentar | Bagikan ke WhatsApp
  • Mendukung pencarian, pengunduhan, dan menjalankan LLM secara offline di lokal
    • Model seperti LLaMa, Falcon, MPT, StarCoder, GPT-Neo-X, dan lainnya
  • Mac/Windows/Linux (beta)
  • Model dapat digunakan melalui UI chat bawaan atau server lokal yang kompatibel dengan OpenAI
  • Mendukung model Llama, MPT, StarCoder berbasis ggml dari HuggingFace, dan lainnya
    • (Contoh: Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT, dll.)
  • Spesifikasi minimum dan persyaratan
    • Apple Silicon Mac (M1/M2/M3) macOS 13.6 atau lebih baru
    • PC Windows / Linux (prosesor yang mendukung AVX2)
    • Disarankan RAM 16GB+ atau lebih. Untuk PC, disarankan VRAM 6GB+
    • Mendukung GPU NVIDIA/AMD

Privasi dan penggunaan LM Studio

  • LM Studio tidak mengumpulkan atau memantau data pengguna, dan semua data tetap tersimpan secara lokal di perangkat pengguna
  • Gratis untuk penggunaan pribadi, dan jika ingin digunakan untuk keperluan kerja, perlu menghubungi tim

Opini GN⁺

  • LM Studio adalah solusi yang menarik bagi pengguna yang mengutamakan privasi, dan kemampuan untuk menjalankan LLM secara offline adalah fitur yang paling penting.
  • Menarik karena data pengguna hanya disimpan secara lokal, mendukung berbagai model, dan bermanfaat karena tersedia gratis bagi pengguna pribadi.
  • Persyaratan perangkat kerasnya relatif tinggi sehingga cocok untuk pengguna perangkat terbaru, dan rencana untuk penggunaan kerja juga merupakan hal yang positif.

Bacaan terkait

1 komentar

 
GN⁺ 2023-11-23
Opini Hacker News
  • Membagikan tautan yang menunjukkan bahwa pekerjaan yang sama dapat dilakukan dengan kode open source menggunakan Ollama dan UI.
  • Penilaian positif terhadap LM Studio dan fitur-fiturnya:
    • runtime model lokal
    • katalog model
    • UI untuk berbicara dengan model dengan mudah
    • API yang kompatibel dengan OpenAI
    • termasuk plugin seperti RAG (menggunakan ChromaDB)
    • berada pada posisi yang baik untuk memanfaatkan fitur-fitur baru dalam ekosistem OS
    • sayangnya LM Studio sendiri bukan open source
  • Ingin mencoba model yang tidak disensor. Menemukan model "TheBloke/Luna-AI-Llama2-Uncensored-GGML" dan mengunduh hanya file pertama untuk memeriksa apakah model itu berfungsi. Bertanya-tanya apakah file-file lainnya juga perlu diunduh, dan apakah model tersebut benar-benar tidak disensor untuk pertanyaan sensitif tertentu.
  • Pertanyaan pemula tentang LLM: apa yang terjadi jika seri "The Lord of the Rings" dimasukkan ke dalam LLM, apakah ada LLM dasar yang "tidak tahu apa-apa", dan apakah itu bisa digunakan untuk membuat pakar Middle-earth, dan sebagainya.
  • Persyaratan kualifikasi yang lucu untuk peran engineering tingkat lanjut: diperlukan pemahaman mendalam tentang komputer dan perangkat lunak, kemampuan menulis algoritma dan program, dan sebagainya, tetapi sulit untuk menganggap persyaratan ini serius.
  • Membagikan tautan yang memperkenalkan UI sederhana buatan pribadi sebagai upaya untuk menyederhanakan pengaturan yang kompleks.
  • Penasaran dengan calon basis pengguna perangkat lunak LLM dan ingin melihat informasi atau perkiraan tentang segmentasi pasar. Menemukan nilai pada antarmuka ini, percakapan, dan pengelolaan model meskipun pengaturannya rumit.
  • Saran perbaikan untuk UI aplikasi:
    • status default field chatbox perlu diperbaiki
    • tidak jelas bagaimana mengatur akselerasi CUDA sebelum model dimuat
    • beberapa model HuggingFace tidak ditampilkan dan alasannya tidak dijelaskan
    • bagian accordion pada antarmuka hanya merespons scroll wheel mouse
    • tab server sangat berguna untuk debugging awal
  • Pertanyaan tentang masalah yang dapat muncul saat menggunakan berbagai model LLM (Mistral, Llama 2, Code Llama, Orca Mini, Vicuna), seperti halusinasi 50%, rekomendasi kode API yang tidak ada, reproduksi jawaban StackOverflow yang usang, dan permintaan untuk berbagi contoh penggunaan nyata model-model ini.
  • Setelah memasang dan menjalankan LM Studio, mengalami penggunaan CPU naik hingga 30% dan suara kipas laptop meningkat. Setelah menutup proses LM Studio dan membukanya kembali, penggunaan latar belakang turun menjadi 5%.