Ollama Turbo
(ollama.com)- Ollama Turbo adalah solusi baru yang memungkinkan menjalankan model sumber terbuka skala besar secara cepat di perangkat keras pusat data berkinerja tinggi (mulai $20 per bulan)
- Menyediakan cara untuk mengoperasikan model besar dengan cepat dan efisien sambil tetap menggunakan aplikasi, CLI, API, dan pustaka JavaScript/Python Ollama apa adanya
- Saat ini dalam status pratinjau dan mendukung gpt-oss-20b serta gpt-oss-120b, model terbuka yang dirilis oleh OpenAI
- Saat mode Turbo digunakan, riwayat pertanyaan tidak disimpan di server atau tercatat sebagai log
- Perangkat keras hanya dioperasikan di pusat data di AS, dengan batasan penggunaan per jam dan per hari yang diberlakukan, dan ke depan juga akan diterapkan sistem penagihan berbasis konsumsi
1 komentar
Opini Hacker News
Menurut saya ini peluncuran yang keren. Saat ini, hal tersulit ketika perusahaan menggunakan model OSS adalah banyaknya faktor yang harus dipertimbangkan: kecepatan, biaya, keandalan, kesetaraan fitur (misalnya context caching), performa (seperti tingkat quant yang persis digunakan), jaminan wilayah hosting/privasi data, LTS, dan lain-lain. Pada praktiknya, jika ingin memakai model OSS dari penyedia selain tiga perusahaan besar, kita harus mengevaluasi sendiri penyedia itu di semua aspek tersebut, dan proses ini sering kali membutuhkan keahlian yang cukup mendalam. Kadang bahkan perlu membuat alat evaluasi khusus. Sementara itu, Anthropic, OpenAI, dan Google memberikan pengalaman yang tinggal pakai, dan kita membayar untuk itu. Harganya memang sedikit lebih mahal, tetapi itu adalah biaya karena mereka mengurus semuanya. Kecuali para penyedia OSS melakukan standardisasi, model open source tampaknya akan tetap berada di tahap peralihan yang sulit bersaing dalam deployment skala besar, meskipun secara teori performanya setara dengan model tertutup
Benar juga, tetapi menggunakan penyedia besar arus utama pada dasarnya berarti menyerahkan seluruh traffic prompt tanpa perlindungan hukum yang benar-benar nyata. Untuk pembahasan detailnya, lihat artikel terkait
Model gpt-oss hanya disediakan dalam format quant 4.5 bit. Itulah model orisinal murninya, dan tidak ada versi fp16
Ada juga orang yang bereaksi negatif karena Ollama melakukan ini, tetapi menurut saya pada praktiknya ini adalah solusi termudah untuk mengembangkan dan menguji model secara lokal. Benar, llama.cpp adalah mesin yang sesungguhnya dan Ollama semacam pembungkus di atasnya. Saya sendiri tidak ingin memakai Ollama untuk layanan komersial sungguhan. Meski begitu, jika orang yang pemahaman teknisnya rendah ingin cepat membangun dan menjalankan sendiri sistem dengan kemampuan LLM, fakta bahwa ada GUI dan bisa langsung diinstal lewat file .dmg adalah nilai plus
Terima kasih atas masukannya. Setelah pembaruan engine multimodal terbaru, Ollama bukan lagi sekadar pembungkus sederhana untuk llama.cpp. Kami masih menggunakan library GGML, dan sedang mengoptimalkan performa bersama mitra hardware. Ollama mungkin terlihat seperti mainan, tetapi kami mengerahkan sangat banyak upaya untuk mempertahankan kesederhanaannya. Kesederhanaan sering diabaikan, tetapi kami ingin membangun dunia yang kami harapkan
Ada pendapat bahwa Ollama tidak ingin dipakai di lingkungan komersial. Padahal, kami benar-benar membandingkan kecepatan startup dan throughput token per detik antara vLLM dan Ollama, dan Ollama mencatat hasil terbaik. Semoga kami bisa segera mempublikasikan hasilnya
Jika Anda tidak bisa memakai GPU data center yang layak dan hanya bisa melakukan deployment di desktop atau sisi klien, maka Ollama adalah pilihan terbaik. Situasi seperti ini memang tidak umum, tetapi di beberapa organisasi kenyataannya mereka hanya bisa memakai desktop dengan kartu grafis 4090
Saya menganggap Ollama sebagai sinonim dari lokal, jadi saya penasaran bagaimana arahnya ke depan
Ada segelintir pengguna yang vokal dan tidak percaya pada perusahaan besar, tetapi mereka menganggap tidak masalah membayar layanan serupa dari perusahaan kecil. Saya penasaran apakah pengguna seperti ini benar-benar akan mau membayar untuk layanan seperti Ollama
Rasanya mirip layanan cloud gaming. Secara umum saya puas menggunakan secara lokal, tetapi kadang lebih efisien jika biaya hardware dialihkan ke pihak lain. Pada akhirnya ini soal pilihan, bukan semuanya atau tidak sama sekali
Saya ingin tahu lebih spesifik soal "Privacy first". Jika hanya menekankan bahwa data tidak disimpan, rasanya masih kurang. Misalnya Draw Things juga menyediakan "Cloud Compute" dan semua pemrosesan data dilakukan hanya di RAM per permintaan tanpa disimpan. Tetapi secara pribadi saya juga tidak puas dengan pendekatan itu. Katanya dukungan "privacy pass" akan segera ditambahkan, tetapi itu juga punya keterbatasan. Akan bagus jika ada transparency log yang bisa diverifikasi di tingkat hardware, tetapi saya bahkan tidak tahu harus mulai dari mana
Saya tidak merasa ada keunggulan privasi hanya karena bekerja dengan Ollama. Ollama juga bisa saja menjual data, atau jika diperlukan mungkin harus menyerahkan data secara hukum
Tidak terlihat adanya kebijakan privasi, dan aplikasi desktop-nya bukan open source, jadi sulit dipercaya. [Sebagai referensi, saya sedang membuat solusi panggilan LLM yang benar-benar memberikan jaminan privasi seperti transparency log nyata]
Jika mereka memungkinkan model dijalankan di Swiss atau negara yang patuh GDPR, saya bersedia membayar lebih meski latensinya sedikit lebih tinggi. Saya juga ingin transfer data diproses dengan protokol aman seperti SSL
Saya bertanya-tanya, daripada membayar 20 dolar yang sama untuk memakai model yang "lebih rendah" di Ollama, bukankah lebih baik memakai model SOTA di OpenAI?
Keunggulan utama Ollama Turbo adalah kita bisa langsung menguji berbagai model yang pada dasarnya dapat dijalankan secara lokal di cloud, asalkan punya hardware yang memadai. Sebelum mengeluarkan biaya besar untuk membeli hardware kelas tinggi (mac studio, dgx, dan sebagainya) dan membangunnya sendiri, kita bisa dengan cepat menguji model terbuka seperti ini dan menilai kelayakannya. Pengembang spesialis di bidang keuangan, kesehatan, dan hukum yang privasinya penting biasanya memang menginginkan lingkungan on-premise dan lokal. Mereka bisa bereksperimen dan mengembangkan dengan data non-sensitif melalui layanan ini, lalu memindahkannya ke hardware sendiri saat beralih ke produksi
Keuntungannya adalah model bisa dijalankan dengan bebas tanpa filter. OpenAI memfilter secara berlebihan dan bahkan tidak memberi tahu aturan apa yang dilanggar. Kita jadi harus mengubah-ubah prompt sendiri untuk memeriksa apakah itu melanggar hak cipta, merek dagang, dan sebagainya, dan belakangan ini bahkan untuk pertanyaan sederhana pun kadang tidak menjawab dengan baik. Saya ingin versi LLM tanpa pagar pengaman
Saya tidak yakin harga model besar akan tetap di kisaran 20 dolar ke depannya. Bagaimanapun, saya selalu berharap pasarnya tetap kompetitif
Sepertinya alasan terpentingnya adalah privasi data, dan mungkin juga bisa diharapkan bahwa paket ini memberi kuota penggunaan yang lebih besar. Bagi saya pribadi, privasi data adalah yang utama
Ini memang sudah bisa diperkirakan. Komunitas inferensi lokal memang berkumpul di sekitar Ollama, tetapi tampak jelas bahwa strategi dan prioritas jangka panjang Ollama tidak berada di sana. Saya rasa kita harus cepat beralih ke alternatif
Library dasar Ollama, yaitu llama.cpp, sendiri sudah punya fungsi server dan sepenuhnya kompatibel dengan open-webui. Beberapa bulan lalu saya pindah dari ollama ke llama-server, dan karena UI-nya tetap sama, saya memakainya tanpa rasa kehilangan sama sekali
Ollama tetap terbuka, dan hanya mengenakan biaya kepada pengguna yang ingin GPU tambahan. Karena memang ada biaya GPU yang nyata, menurut saya wajar jika itu ditagihkan, dan hasilnya bisa dipakai untuk mengembangkan inti proyek open source tersebut. Harus ada tingkat kewajaran tertentu, dan jika dijalankan dengan itikad baik saya percaya bisa menghasilkan sesuatu yang hebat
Ada juga proyek github.com/containers/ramalama untuk tujuan tersebut
Huggingface juga menawarkan produk cloud, tetapi itu tidak berarti kita tidak bisa mengunduh bobot model dan menjalankannya secara lokal
Pada akhirnya, ada batasnya jika menginginkan layanan gratis secara terus-menerus dengan cara yang tidak berkelanjutan. Kalau ada yang ingin membuat alternatif open source, mereka juga bisa meluangkan waktu dan membangunnya sendiri. Kalau tidak, mungkin memang perlu menerima kenyataan saat ini
Saya bingung mengapa Ollama membuat keputusan seperti ini. Entah mereka memang ingin menghasilkan uang, atau sedang mendapat tekanan dari seseorang. Solusi untuk lokal sudah bekerja sangat baik dan punya ruang untuk mengeksplorasi lebih banyak ide, jadi sayang sekali malah membuat layanan cloud lain. Saya tetap menyukai Ollama dan berharap mereka tetap keren seperti dulu
Ada banyak bagian dari kabar ini yang menarik perhatian saya. Sebagai engine model OSS lokal yang paling representatif, keputusan untuk kali ini hanya menawarkan OSS sejak awal terasa seperti strategi yang menumpang momentum pengumuman hari ini dan gelombang OSS. Paket berlangganannya juga menarik; pemain lain juga mulai mengadopsinya, tetapi model seperti ini jarang di layanan berbasis API. Dalam jangka panjang saya memperkirakan akan ada perang harga LLM, dan munculnya langganan bulanan di layanan API bisa jadi tanda fenomena itu. Saya penasaran apakah Ollama punya sumber daya untuk mempertahankan baik engine lokal maupun layanan cloud barunya ini
Katanya tarif berbasis penggunaan akan segera hadir, dan saya rasa itu memang format yang paling cocok untuk layanan seperti ini. Saya juga membayar 20 dolar ke Anthropic, tetapi secara pribadi rasanya penggunaan saya tidak akan cukup untuk layak membayar jumlah yang sama untuk layanan ini. Meski begitu, kemampuan untuk langsung memanggil berbagai model dan membandingkannya benar-benar sangat berguna. Semoga timnya mendapatkan hasil yang baik
Layanan flat-rate untuk LLM open source cukup unik. Saya rasa saya sendiri tidak akan memakainya, tetapi jika tarif berbasis penggunaan diterapkan, mereka harus langsung bersaing dengan pemain mapan seperti deepinfra.com, novita.ai, dan openrouter.ai. Ollama memang punya pengenalan merek yang lebih tinggi, tetapi layanan yang sudah ada juga sudah sangat kompetitif dari sisi harga
Saya setuju bahwa tarif berbasis penggunaan akan segera diluncurkan. Namun sudah ada banyak penyedia yang menawarkan berbagai model berbasis OpenAI, jadi saya penasaran apa pembeda Ollama. Sudah banyak juga antarmuka bagus yang memungkinkan penggunaan API key sendiri
Langganan bulanan 20 dolar untuk akses API jelas terasa segar
Tarif berlangganan untuk penggunaan API benar-benar percobaan yang menarik. Nilai nyatanya tampaknya akan sangat ditentukan oleh fakta bahwa batas penggunaan belum diumumkan