Kompatibilitas OpenAI

 (ollama.ai)
1 poin oleh GN⁺ 2024-02-09 | 1 komentar | Bagikan ke WhatsApp

Kompatibilitas OpenAI

  • Ollama kini kompatibel dengan API chat completion OpenAI, sehingga Ollama dapat digunakan secara lokal dengan lebih banyak alat dan aplikasi.
  • Pengaturan dimulai dengan mengunduh Ollama dan mengambil model seperti Llama 2 atau Mistral.

Cara penggunaan

cURL

  • Gunakan format OpenAI untuk memanggil endpoint API yang kompatibel dengan OpenAI milik Ollama, lalu ubah nama host menjadi http://localhost:11434.

Library Python OpenAI

  • Endpoint API Ollama dapat diakses menggunakan library Python OpenAI, dengan menyertakan API key yang diwajibkan tetapi tidak digunakan.

Library JavaScript OpenAI

  • Endpoint API Ollama dapat diakses menggunakan library JavaScript OpenAI, dengan menyertakan API key yang diwajibkan tetapi tidak digunakan.

Contoh

Vercel AI SDK

  • Vercel AI SDK adalah library open source yang membantu membangun aplikasi streaming interaktif.
  • Gunakan create-next-app untuk menyalin repositori contoh.

Autogen

  • Autogen adalah framework open source populer untuk membangun aplikasi multi-agent yang dibuat oleh Microsoft.
  • Contoh ini menggunakan model Code Llama, lalu memasang Autogen dan membuat skrip Python untuk menggunakan Ollama.

Lebih banyak akan segera hadir

  • Ini adalah dukungan eksperimental awal untuk API OpenAI.
  • Peningkatan mendatang yang sedang dipertimbangkan mencakup Embeddings API, function calling, dukungan vision, dan Logprobs.
  • Untuk informasi lebih lanjut, lihat dokumentasi kompatibilitas OpenAI.

Opini GN⁺

  • Kompatibilitas OpenAI API: Dengan Ollama yang kompatibel dengan OpenAI API, pengembang kini dapat mengintegrasikan dan memanfaatkan model AI dengan lebih mudah di lingkungan lokal. Ini merupakan perubahan penting yang meningkatkan aksesibilitas pengembangan aplikasi berbasis AI.
  • Dukungan untuk berbagai bahasa pemrograman: Dukungan melalui library Python dan JavaScript menunjukkan kegunaannya di berbagai lingkungan pengembangan. Ini berarti pengembang dapat dengan mudah mengintegrasikan fungsi AI menggunakan bahasa yang mereka pilih.
  • Integrasi dengan framework open source: Contoh integrasi dengan framework open source seperti Vercel AI SDK dan Autogen menunjukkan meluasnya kemungkinan pemanfaatan Ollama, serta potensi untuk mendorong inovasi berbasis komunitas.

Bacaan terkait

1 komentar

 
GN⁺ 2024-02-09
Opini Hacker News

  • Selama beberapa bulan terakhir, kemudahan penggunaan LLM yang di-host secara lokal meningkat secara mengejutkan.

    • Beberapa jam lalu sempat mengeluhkan betapa mudahnya menggunakan llamafile dari Mozilla-Ocho.
    • Mengalami kesulitan dalam memutuskan LLM mana yang akan digunakan.

  • Ada orang-orang yang secara pribadi tidak menyukai OpenAI API compatibility menjadi standar komunitas.

    • Ada beberapa kejanggalan seperti nesting struktur data yang tidak perlu, tetapi tidak ada keluhan besar.
    • Penasaran apa masalahnya jika API itu menjadi standar, dan apakah ada upaya menuju standar alternatif.

  • Sedang mengembangkan versi Copilot yang ditingkatkan, dan mendukung agar pengguna bisa membawa LLM mereka sendiri.

    • Menambahkan backend yang kompatibel dengan OpenAI, sehingga jika menyediakan endpoint API yang kompatibel dengan OpenAI, format prompt, stop sequence, token maksimum, dan sebagainya akan ditangani sesuai semantik model tersebut.
    • Membutuhkan fitur seperti ini agar bisa menguji di lingkungan pengembangan lokal, dan karena Ollama menyediakannya, pengujian dukungan untuk berbagai LLM menjadi jauh lebih mudah.

  • Ollama bekerja lebih baik daripada alat lain dan langsung bisa dipakai.

    • Menjalankan Dolphin Mixtral 7b di Raspberry pi 4 untuk meminta resep roti jagung, lalu beberapa jam kemudian mendapati dua karakter telah dihasilkan.

  • Skrip instalasi Linux milik Ollama saat ini bekerja dengan gaya standar.

    • Namun, saat terakhir diperiksa, skrip tersebut meminta hak root melalui sudo.
    • Jika ingin memakai alat itu, disarankan untuk mengunduh skripnya, memeriksanya, atau memodifikasinya sesuai kebutuhan.

  • Kompatibilitas dengan OpenAI agak menyesatkan.

    • Implementasi role dan content selalu relatif sederhana.
    • Saat meng-host agent, sebenarnya perlu melakukan pekerjaan yang sesungguhnya.
    • Pernah memasukkan scripting engine ke dalam sistem agent, dan merasa perlu mempertimbangkan keamanan serta pengaturan izin.

  • Lapisan kompatibilitas juga bisa dibangun di library.

    • Misalnya, Langchain memiliki llm() yang bekerja dengan berbagai backend LLM.

  • Sedang mengerjakan proyek yang dapat berpindah dengan mudah antara open source (misalnya HF, VLLM) dan model komersial (OpenAI, Google, Anthropic, Together).

    • Jika ingin menggunakannya langsung dari Python tanpa HTTP API, maka lebih mudah digunakan.

  • Mengajukan pertanyaan tentang apa use case Ollama, dan mengapa tidak langsung memakai llama.cpp.

  • Bertanya apakah Ollama pada dasarnya hanya memanggil llama.cpp secara langsung sebagai server HTTP yang di-Dockerisasi, dan selain OpenAI API yang baru ditambahkan, apa perbedaannya.