Ask HN: Bagi yang beralih dari GPT ke model sendiri, bagaimana pengalamannya?

Ringkasan jawaban atas pertanyaan yang muncul di HN

• Telah membantu puluhan pelanggan beralih dari GPT-4/GPT-3.5 di atas OpenPipe ke model fine-tuned milik sendiri
  • Reaksi yang paling umum adalah, "Wah, saya tidak menyangka ini bisa bekerja sebaik ini dengan usaha sekecil ini"
  • Untuk sebagian besar tugas, Mistral 7B yang di-fine-tune melampaui GPT-3.5 dengan biaya yang jauh lebih rendah
  • Dalam beberapa use case, performanya mirip atau lebih baik daripada GPT-4 (terutama untuk tugas seperti klasifikasi, ekstraksi informasi, dan peringkasan)
• Menggunakan Mistral-Instruct-0.1 untuk peringkasan telepon/email, Mixtral untuk contract mining, dan OpenChat untuk memperkuat chatbot agen dengan alat RAG
  • Pengalamannya sangat baik, dan trade-off INT8 masih bisa diterima sampai hardware FP8(FP4) lebih luas digunakan dan menjadi lebih murah
  • Biaya on-premise pada dasarnya sudah tertutup karena menggunakan perangkat legacy A100 dan V100 untuk menjalankan jutaan interaksi
• Menggunakan Continue bersama Ollama, dan LLM yang paling sering dipakai adalah deepseek-coder 7b. Konfigurasi ini terasa sebagus ChatGPT 4, mengutamakan lokal, dan secara keseluruhan memuaskan
• Pernah men-tuning LLM untuk mengerjakan tugas teknis, dan hasilnya bekerja sangat baik. Namun, mengevaluasi LLM ternyata cukup sulit, dan mereka menemukan bahwa GPT-4 secara umum tidak selalu sehebat itu
• Saat melakukan ekstraksi atau pemrosesan data untuk lebih dari 10.000 record, mereka lebih memilih model lokal. Layanan hosting pada titik ini akan terasa lambat dan rapuh. Mistral 7B yang di-fine-tune (OpenChat yang terbaik) memproses data dengan cepat. Mereka memakai ChatGPT-4 untuk merangkum informasi dari prompt yang kompleks, lalu menjalankannya di model lokal. Mereka merasa situasinya akan terus membaik
• Mendukung baik API OpenAI maupun library on-device (misalnya llama.cpp) di aplikasi dan produk enterprise. API dan library-nya sangat mirip sehingga proses perpindahan hampir transparan bagi pengguna. API platform lain juga akan segera didukung, dan integrasinya semudah OpenAI
• Pernah memakai Mistral 7B saat penerbangan tanpa Wi‑Fi; model itu cukup baik untuk menemukan informasi yang dibutuhkan, tetapi keberhasilannya terpecah ketika harus memberi instruksi langkah demi langkah
• Saat membangun Double.bot, mereka menguji berbagai model tetapi akhirnya kembali ke gpt4. Model lain memang menarik, tetapi akan mengecewakan jika melewatkan 1 dari 100 pertanyaan yang bisa diselesaikan gpt4. Saat ini mereka mendapat lebih banyak nilai dari membangun fitur di sekitar model, yang memperbaiki masalah GitHub copilot (autocomplete yang menutup tanda kurung dengan benar, auto-import saat menerima saran, menonaktifkan saran saat menulis komentar agar tidak mengganggu, penyelesaian di tengah baris, dll.). Mereka berharap model open source bisa menyamai gpt4 dalam 6 bulan
• Secara umum mereka merasa Llama 2 cukup buruk, terutama untuk bahasa selain Inggris. Mereka mendapatkan hasil yang sangat baik dari Mixtral untuk chat. Tentu saja, dibandingkan ChatGPT yang sebenarnya, semuanya terasa seperti Frankenstein. Kadang terasa mirip dan bekerja baik, tetapi sesekali mengeluarkan sampah atau artefak yang benar-benar kacau sehingga membuat mereka bertanya-tanya apakah fine-tuning-nya diabaikan
• Mereka menjalankan tahap pertama dengan model sendiri, lalu mengeskalasi ke gpt jika hasil model sendiri tidak cukup meyakinkan
• Pada 2024, diperkirakan akan jauh lebih banyak orang meninggalkan OpenAI karena biaya dan latensi dibanding para pesaing (yang kurang tervalidasi/kurang terukur skalanya). Ketika kecepatan dan kualitas sering kali harus ditukar, mereka telah melihat beberapa vendor yang lebih dari 3x lebih cepat daripada OpenAI dan menawarkan lebih dari 1/3 kualitasnya
• Menggunakan Mixtral 8x7b (q5) untuk use case seperti scripting, pencarian ide, dan/atau definisi yang selalu perlu dicek faktanya. Saat ini memakai lmstudio pada M2 dengan RAM 96GB. Namun mereka sedang mempertimbangkan pindah ke Ollama atau solusi OSS lain

[nullptr]

Karena ini HN, sepertinya perlu diingat bahwa acuannya adalah bahasa Inggris.