Ollama, Tersedia dalam Versi Pratinjau di Windows

 (ollama.com)
2 poin oleh GN⁺ 2024-02-18 | 1 komentar | Bagikan ke WhatsApp

Ollama Pratinjau di Windows

  • Ollama kini dapat digunakan sebagai versi pratinjau di Windows.
  • Ollama di Windows mencakup akselerasi GPU, akses ke seluruh perpustakaan model, dan API Ollama yang kompatibel dengan OpenAI.

Akselerasi Perangkat Keras

  • Ollama mempercepat eksekusi model dengan menggunakan NVIDIA GPU dan set instruksi CPU modern seperti AVX dan AVX2.
  • Dapat digunakan tanpa perlu pengaturan atau virtualisasi.

Akses Penuh ke Perpustakaan Model

  • Akses penuh ke seluruh perpustakaan model Ollama yang tersedia di Windows kini dapat digunakan.
  • Saat menjalankan model vision seperti LLaVA 1.6, Anda bisa menyeret dan melepas gambar ke dalam pesan.

API yang Selalu Aktif

  • API Ollama berjalan otomatis di latar belakang dan dapat diakses dari alat maupun aplikasi tanpa pengaturan tambahan.
  • Misalnya, ditunjukkan cara memanggil API Ollama menggunakan PowerShell.

Memulai

  • Untuk memulai Ollama on Windows Preview, unduh dan instal Ollama.
  • Setelah instalasi, buka terminal lalu jalankan perintah ollama run llama2 untuk menjalankan model.
  • Setiap kali ada rilis baru, Ollama memberi notifikasi.
  • Masukan feedback diminta; jika mengalami masalah, disarankan membuka issue atau bergabung ke server Discord untuk melaporkannya.

Opini GN⁺

  • Integrasi Windows: Integrasi Ollama di Windows membuat pengembang lebih mudah memakai model bahasa besar di lingkungan Windows, sehingga meningkatkan aksesibilitas pengembangan machine learning dan AI.
  • Akselerasi Perangkat Keras: Memanfaatkan akselerasi perangkat keras dengan GPU dan set instruksi CPU modern meningkatkan kecepatan eksekusi model secara signifikan, dan dapat memaksimalkan performa tanpa konfigurasi yang kompleks.
  • Akses API: API yang selalu aktif dan kompatibilitas OpenAI mempermudah integrasi dengan alat-alat yang ada, membantu pengembang bekerja lebih efisien.

Bacaan terkait

1 komentar

 
GN⁺ 2024-02-18
Komentar Hacker News
  • Pengguna menjalankan kumpulan model yang sudah di-fine-tune untuk Mistral dan beberapa model lain di frontend Open-WebUI di desktopnya. Performa model-model ini sudah cukup baik untuk chat dan tugas ekstraksi informasi. Aplikasi Open-WebUI sangat mirip dengan ChatGPT, dan juga memungkinkan pencarian percakapan.

    Halaman GitHub Open-WebUI

  • Menyesali bahwa dukungan GPU AMD tidak disebutkan, dan menyesal telah memilih AMD kali ini.
  • Untuk orang-orang yang mencari UI obrolan berbasis Ollama yang mendukung model online dan lokal, sedang dibangun aplikasi offline berfokus privasi, dan dukungan Windows baru ditambahkan pagi itu.

    msty.app

  • Bertanya-tanya kenapa banyak port AI "run lokal" berjalan sebagai server. Apakah pengembang lupa bahwa kode dapat dieksekusi di dalam proses UI. Fenomena ini juga terlihat pada runner Stable Diffusion dan host LLM. Jika tidak diperlukan, saya tidak ingin menjalankan layanan latar belakang secara lokal.
  • Ingin tahu pendapat orang soal LM Studio dan Ollama yang bukan open-source.

    LM Studio

  • Beberapa tahun lalu mungkin pengguna Mac harus menunggu, tetapi saya tidak menyadari bahwa pengguna Windows tidak bisa mengakses Ollama.
  • Sudah bisa dipakai di Linux dan Mac, dan sekarang Windows juga ditambahkan.

    Halaman GitHub Ollama

  • Pada beberapa hari terakhir saya memakai Ollama di komputer Windows untuk fitur penyelesaian otomatis tab lokal di VS Code, dan performanya terasa sama bagusnya saat dipakai di Mac.
  • Setelah menginstal model llama2 pada Mac Mini baru, saya mengalami kernel panic total. Ini masalah apa?
  • Bertanya apakah orang-orang lebih suka berjalan dan mengembangkan di atas model lokal, dan apakah ada alat penting lain yang perlu dipelajari.