Saya punya RTX Pro 6000 (96GB, secara efektif 94GB), tetapi model 122B tidak bisa dimuat di ollama. Sepertinya karena ini model vision, jadi ada bagian yang berisi vision transformer. Sementara model GPT OSS 120b bisa dimuat dengan cukup leluasa.
Sekarang bisa bilang bye ke error EADDRINUSE?
Akhir-akhir ini banyak yang ngembangin ini-itu lewat agent, jadi banyak proses jalan bareng dan saling bentrok, kacau juga sih wkwk
Tapi modelnya sendiri berubah hanya dalam beberapa bulan,
sementara agents harus disesuaikan lagi dengan model itu...
Bukankah perubahan model berlangsung lebih cepat daripada waktu yang dibutuhkan untuk membuat struktur agents yang tepat?
Sebelum orang sempat terbiasa dengan alatnya, alatnya sudah keburu berubah...
Saya benar-benar bukan developer... tapi karena seru utak-atik AI, saya menyuruhnya coding sedikit, dan ternyata ia membuat dan menyimpan banyak sekali kode pengujian yang bahkan tidak saya minta—jadi memang ada alasan seperti ini rupanya.
Waktu saya tanya kenapa itu diperlukan, dia bilang itu dibutuhkan saat membuat kode dan menyuruh saya untuk tidak menghapusnya.
Gemini juga sudah diblokir. Claude juga diblokir.
Tapi kalau pakai API dan bayar, tidak ada masalah.
Saya tidak paham cara pikir orang-orang luar negeri yang menganggap memakai autentikasi dari pihak ketiga lewat oauth untuk menggunakan layanan dengan biaya langganan murah secara lebih murah itu bukan masalah.
Tidak ada hasil pengukuran penggunaan token aktual untuk satu tugas, jadi ini hanya dugaan bahwa dengan memakai magpie, jumlah percobaan ulang akan berkurang sebesar itu.
Menarik. Apakah Anda punya rencana pengembangan ke depannya?
Wah wkwkwk
Betul.. kalau vision encoder dipakai, model 1B juga bisa makan 9G VRAM.
Saya rasa Sam Altman mungkin seorang reptil sosiopat.
"Tindakan membuat benda fisik dengan tangan membawa transformasi batiniah"
Saya punya RTX Pro 6000 (96GB, secara efektif 94GB), tetapi model 122B tidak bisa dimuat di
ollama. Sepertinya karena ini model vision, jadi ada bagian yang berisi vision transformer. Sementara model GPT OSS 120b bisa dimuat dengan cukup leluasa.Harus dijalankan dengan server
llama.cppberbasis CUDA agar performanya keluar.Karena topik ini dibicarakan di X, tampaknya jika digunakan di Docker, ini juga bisa bekerja dengan memaksa memasukkan PID daemon Docker.
https://github.com/vercel-labs/portless/issues/61
Artikel yang bermanfaat.
Sekarang bisa bilang bye ke error EADDRINUSE?
Akhir-akhir ini banyak yang ngembangin ini-itu lewat agent, jadi banyak proses jalan bareng dan saling bentrok, kacau juga sih wkwk
Tapi modelnya sendiri berubah hanya dalam beberapa bulan,
sementara
agentsharus disesuaikan lagi dengan model itu...Bukankah perubahan model berlangsung lebih cepat daripada waktu yang dibutuhkan untuk membuat struktur
agentsyang tepat?Sebelum orang sempat terbiasa dengan alatnya, alatnya sudah keburu berubah...
Saya benar-benar bukan developer... tapi karena seru utak-atik AI, saya menyuruhnya coding sedikit, dan ternyata ia membuat dan menyimpan banyak sekali kode pengujian yang bahkan tidak saya minta—jadi memang ada alasan seperti ini rupanya.
Waktu saya tanya kenapa itu diperlukan, dia bilang itu dibutuhkan saat membuat kode dan menyuruh saya untuk tidak menghapusnya.
Gemini juga sudah diblokir. Claude juga diblokir.
Tapi kalau pakai API dan bayar, tidak ada masalah.
Saya tidak paham cara pikir orang-orang luar negeri yang menganggap memakai autentikasi dari pihak ketiga lewat
oauthuntuk menggunakan layanan dengan biaya langganan murah secara lebih murah itu bukan masalah.Oh... sepertinya benar.
Manusia juga tidak pandai memilih secara acak. Seharusnya tidak ada pola, tetapi sengaja menghindari pola pun bisa dianggap sebagai pola.
Tidak ada hasil pengukuran penggunaan token aktual untuk satu tugas, jadi ini hanya dugaan bahwa dengan memakai magpie, jumlah percobaan ulang akan berkurang sebesar itu.
Perbandingan
Compilation Time-nya terlihat aneh. Kenapa yang dibandingkanms/token?Sepertinya perlu ada rangkuman linimasa terkait hal ini. Ada juga yang mengatakan OpenAI sedang dalam proses negosiasi kontrak, bukan?
Saya selalu mengikuti dengan baik, terima kasih.
Sepertinya ada kasus seperti itu karena
xjadi agak sulit untuk di-crawl. Akan kami perbaiki.