Kerugian beralih ke model terbuka tidak terlalu besar

 (marble.onl)
1 poin oleh GN⁺ 4 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Dalam pekerjaan teknis, LLM terbuka masih memiliki biaya dalam hal performa, kompatibilitas, dan keandalan, tetapi belakangan kesenjangannya mengecil sehingga peluang untuk mengurangi ketergantungan pada model proprietari seperti Claude atau GPT makin besar
  • Dulu Linux berisiko untuk pekerjaan profesional karena kompatibilitas MS Office, format file khusus, dan ekosistem open source yang belum matang, tetapi penyebaran web app dan kematangan ekosistem telah sangat mengurangi pengorbanan tersebut
  • Per 21 Juni 2026, posisi teratas Artificial Analysis intelligence leaderboard ditempati model API proprietari seperti Claude dan GPT, dan Claude code serta API utama masih unggul dalam kemudahan penggunaan dan kepercayaan di dalam organisasi
  • Model terbuka bisa digunakan melalui penyedia model atau pihak ketiga seperti OpenRouter, tetapi ada kekhawatiran privasi dan berbagi data; jika dijalankan sendiri, privasi membaik tetapi muncul beban biaya, kompleksitas, dan kecepatan
  • Penerapan ID verification oleh Claude membuat biaya untuk berhenti memakai model papan atas kembali dipertimbangkan, tetapi karena model terbuka sudah mendekat hingga hanya tertinggal beberapa bulan dari yang terdepan, penurunan produktivitas jangka pendek mungkin bukan hambatan yang menentukan

Posisi LLM terbuka saat ini dilihat dari biaya perpindahan ke Linux

  • Dulu menggunakan Linux bisa menimbulkan risiko profesional bahkan dalam pekerjaan teknis
    • Dokumen Word atau PowerPoint bisa saja tidak dirender dengan benar
    • Ada situasi ketika harus mempercayai hasil ekspor dari Open Office
    • Sulit membuka format file khusus dengan mudah sehingga kolaborasi bisa menjadi susah
    • Proyek open source yang berusaha mengejar fitur perangkat lunak arus utama memiliki banyak bagian yang masih kasar
  • Sekarang, perangkat lunak produktivitas sering tersedia sebagai web app, dan Linux serta perangkat lunak open source telah matang sehingga kesenjangannya menyempit
    • Perangkat lunak untuk bidang tertentu seperti CAD mungkin masih memerlukan Windows
    • Namun Linux dan open source tidak lagi menuntut pengorbanan besar untuk pekerjaan umum seperti dulu

Biaya yang masih harus ditanggung pengguna model terbuka

  • Bagi pengguna LLM terbuka, masih ada penalti yang jelas
    • Per 21 Juni 2026, Claude dan GPT berada di posisi atas Artificial Analysis intelligence leaderboard
    • Bukan hanya performa, Claude code dan API utama juga kuat dalam kompatibilitas dan kemudahan penggunaan
    • Mengirim kueri LLM ke OpenAI dan Anthropic telah memperoleh tingkat kepercayaan yang dapat diterima banyak orang
  • Jalur menggunakan model terbuka lewat API disertai masalah kepercayaan
    • Model bisa disajikan langsung oleh penyedianya atau oleh pihak ketiga seperti OpenRouter
    • Untuk mengirim panggilan API yang memuat data klien atau data rahasia, ada rasa tidak aman yang lebih besar dari sisi privasi dan berbagi data
    • Jika mengirim permintaan ke Deepseek atau OpenRouter, terlepas dari risiko nyatanya, kekhawatirannya bisa lebih besar
  • Menjalankan sendiri mengurangi masalah privasi, tetapi menambah beban biaya, kompleksitas, dan kecepatan
    • Bisa dijalankan secara lokal atau di cloud
    • Menjalankan sendiri disertai setidaknya dua dari tiga masalah berikut: mahal, rumit, atau relatif lambat

Verifikasi ID Claude yang menjadi pemicu perpindahan

  • Penerapan identity verification oleh Claude mempercepat keputusan untuk berpindah
    • Safeguards baru pada model terbaru dan situasi terkait Mythos belakangan juga dipandang sebagai tanda bahwa pengalaman pengguna bisa memburuk
    • Jika tidak menerima ID verification, kerugian profesional karena kehilangan akses ke model papan atas tetap menjadi masalah utama
  • Perpindahan ke model terbuka dinilai jauh lebih dekat dibanding kesenjangan Linux dan Windows pada 2008
    • Sudah ada lingkungan untuk menjalankan berbagai model terbuka secara lokal maupun di cloud
    • Sudah ada coding harness untuk model terbuka
    • Model terbuka telah sangat mendekati model terdepan dan biasanya hanya tertinggal beberapa bulan
    • Produktivitas mungkin turun dalam jangka pendek, tetapi seperti berpindah dari Matlab ke GNU Octave pada masa riset, ini dianggap bukan hambatan yang menentukan

Bacaan terkait

1 komentar

 
GN⁺ 4 jam lalu
Komentar Hacker News

  • Itulah tepatnya alasan saya memakai aturan routing berikut di eurouter.ai untuk semua permintaan

    {  
"model": "glm-5.2",  
"models": [  
"deepseek-v4-pro",  
"deepseek-v4-flash"  
],  
"provider": {  
"allow_fallbacks": true,  
"data_collection": "deny",  
"data_residency": "EU",  
"max_retention_days": 0,  
"eu_owned": true  
}  
}

    Memang mahal, tetapi setidaknya secara hukum privasi data terjamin. Saya lebih percaya ini daripada Anthropic, OpenAI, atau OpenRouter
    Secara pribadi, saya sulit menerima secara moral penggunaan alat AI dari AS, dan saya tidak ingin membayar mereka untuk mendukung kejahatan yang mereka terlibat di dalamnya[1]
    [1]: https://news.ycombinator.com/item?id=48512339

  • Bagian yang membuat saya keberatan dengan red line Anthropic adalah frasa “of Americans”. Jadi apakah itu berarti mereka bebas melakukan apa saja terhadap seluruh dunia beradab lainnya? Apakah tidak masalah membuat negara-negara sekutu di luar AS menjadi tidak stabil lewat pengujian yang dimanipulasi atau kebocoran data dalam machine learning?
    Yang lebih aneh lagi, mereka mengklaim model mengikuti https://www.anthropic.com/constitution dan bahwa isinya sudah tertanam di model. Namun system prompt Claude Code dan cowork mengulangi butir-butir seperti ini lagi. Jika memang benar-benar tertanam, seharusnya itu tidak perlu
    Dengan prompt engineering yang cukup pada Claude versi API, Anda bisa membuatnya bertindak seperti pendukung Hitler, dan itu bertentangan langsung dengan klaim mereka. Khususnya Opus 4.7 dengan senang hati membuat propaganda yang menargetkan kelompok minoritas tertentu, tetapi pada 4.8 saya belum melihat keberhasilan yang sama. Akhir-akhir ini saya lebih tertarik pada penyalahgunaan kemampuan siber model, jadi saya tidak terlalu mendorong jauh ke arah itu
    Sejak awal, kesimpulannya adalah bahwa strategi Anthropic murni pengelolaan citra, dan melihat banyaknya dukungan terhadap perusahaan itu, bisa dibilang strategi tersebut cukup berhasil

  • Saya melihat eurouter.ai, dan usulannya tampak sangat buruk
    Harga dengan markup 15% untuk akun gratis juga tidak masuk akal, dan ada batas 1000 permintaan per bulan kecuali Anda membayar 40€ per bulan. Namun saya tidak paham nilai persis apa yang mereka berikan
    Untuk DeepSeek-V4-Pro hanya ada satu penyedia, yaitu TensorX, dan biaya pembacaan cache lebih dari 100 kali lebih mahal daripada DeepSeek ($0.44 vs $0.003625). Khususnya di eurouter.ai saya bahkan tidak bisa menemukan informasi biaya token cache, jadi saya harus melihat situs web TensorX

  • Bahkan kata “kejahatan” pun terasa kurang kuat
    “AI-assisted targeting in the Gaza Strip” - https://en.wikipedia.org/wiki/AI-assisted_targeting_in_the_G...
    “Palantir allegedly enables Israel's AI targeting in Gaza, raising concerns over war crimes” - https://www.business-humanrights.org/de/neuste-meldungen/pal...
    “What The Wounds Are Telling Us” - https://www.volkskrant.nl/kijkverder/v/2025/gunshot-palestin...

  • Saya jadi penasaran dengan alternatif lain untuk OpenRouter, lalu mencari-cari sebentar
    EURouter (Amsterdam): https://www.eurouter.ai/pricing
    Eden AI (Prancis): https://www.edenai.co/pricing
    nexos.ai (Lithuania): https://nexos.ai/pricing/
    Requesty (Jerman): https://www.requesty.ai/pricing
    Cortecs (Austria): https://cortecs.ai/pricing
    Nordference (Estonia): https://nordference.ai/pricing
    Rasanya mereka benar-benar bermunculan seperti jamur. Saya belum pernah memakainya secara langsung, jadi saya tidak merekomendasikan satu pun, tetapi tampaknya ada pilihan bagi orang yang membutuhkannya

  • Jika keamanan data benar-benar menjadi kekhawatiran, pada akhirnya tampaknya tidak ada solusi selain menerima konsekuensinya dan melakukan self-hosting

  • Menarik melihat orang-orang menyingkirkan model berbobot terbuka hanya karena dianggap “tertinggal beberapa bulan” dibanding model tertutup.
    Saya tahu laju perkembangan LLM sangat cepat, tetapi jika Opus dan GPT beberapa bulan lalu benar-benar setara dengan model berbobot terbuka saat ini, tidak ada alasan untuk tidak beralih. Terutama jika Anda memang sudah memakai model-model itu sejak beberapa bulan lalu.
    Basis kodenya juga tidak berubah, jadi tinggal pakai model berbobot terbuka. Jangan memindahkan tiang gawang.

    • Setiap kali ada model tertutup baru, selalu dipromosikan sebagai sesuatu yang “revolusioner” dan “berhasil menyelesaikan tugas X yang tidak bisa diselesaikan model lain”, tetapi sebulan kemudian langsung disebut sebagai model generasi sebelumnya yang jelek.
      Jadi tidak ada masalah sama sekali memakai Kimi-2.7, GLM-5.2, dan Deepseek-v4. Kita sudah cukup dekat dengan batas atas, dan sekarang sebagian besar peningkatan tampaknya datang dari perbaikan harness yang membuat penalaran atau pemanggilan alat sedikit lebih baik, serta reinforcement learning yang sedikit lebih baik.
    • Saya sudah banyak bereksperimen dengan model terbuka, tetapi saya mulai lelah dengan klaim bahwa model-model itu “hanya tertinggal beberapa bulan”.
      Saya masih belum yakin bahwa bahkan model berbobot terbuka terbaik saat ini pun setara dengan Opus dari beberapa bulan lalu. Saya tahu benchmark mengatakan begitu dan ekspektasi saya juga tinggi, tetapi pengalaman penggunaan nyata saya tidak sesuai dengan benchmark tersebut.
      Saya melakukan banyak tugas yang bahkan membuat Opus 4.8 kesulitan. Dalam situasi di mana LLM tercanggih pun belum sepenuhnya sampai ke sana, saya tidak punya motivasi untuk pindah ke model yang lebih tertinggal.
    • Satu-satunya alasan saya membaca postingan ini di HN sekarang adalah karena gangguan API Anthropic, jadi ini juga menjadi satu suara untuk self-hosting.
    • Sedikit lebih akurat daripada mengatakan “tertinggal beberapa bulan”, tolok ukur yang penting mungkin adalah apakah sesuatu itu sebelum atau sesudah Claude Opus 4.5 pada 24 November 2025. Itulah model yang memicu demam OpenClaw saat Natal.
    • Di kantor, kami memakai penyedia Deepseek V4 flash, dan dalam praktiknya itu menangani 95% pekerjaan yang benar-benar berjalan dengan biaya sepersepuluh. Kadang kami memang memanggil model yang lebih kuat, tetapi itu pun setelah dipikirkan sekali lagi.
      Moat-nya terlalu datar, paling cuma setara bonus +1 makanan, +1 produksi. Kalau ada jalan, +1 emas.

  • Hal yang menakjubkan dari model-model ini adalah bahwa pada dasarnya mereka telah mendistilasi internet menjadi bentuk yang bisa dimasukkan ke mesin lokal, lalu dapat ditanyai dengan bahasa alami.
    Teknologi dan hardware membaik lebih cepat daripada laju pertumbuhan basis pengetahuan yang perlu didistilasi, jadi tampaknya tak terhindarkan bahwa model lokal yang benar-benar berguna akan menjadi mungkin.

  • Sikap tulisan ini terasa cukup mengejutkan. Di satu sisi, ia dimulai dengan kisah menerima Linux dan perangkat lunak bebas/open source lainnya, padahal inti FOSS adalah memungkinkan pengguna memahami dan memodifikasi perangkat lunak yang mereka jalankan.
    Namun sisanya adalah cerita tentang memakai LLM, alat yang tidak bisa dimodifikasi ataupun dipahami oleh penulis. Matriks floating-point raksasa, dalam penilaian paling murah hati, hanya bisa disejajarkan dengan kode yang sudah dikompilasi, dan dalam praktiknya kadang lebih mudah memahami perangkat lunak tertutup dengan mendekompilasinya.
    Ditambah lagi, dalam kebanyakan kasus, untuk menjalankan model “terbuka” pun dibutuhkan hardware yang sulit ditanggung. Saya tidak tahu bagaimana kita bisa sampai di titik ini dari tempat yang dulu memuji kebebasan perangkat lunak.

  • Judulnya berbicara dengan nada pasti, tetapi di isi tertulis “semoga diminimalkan”.
    Saya memakai beberapa langganan, menguji berbagai penyedia LLM lewat OpenRouter per token, dan juga menjalankan model berbobot terbuka secara lokal.
    Saya masih sulit setuju. Model Anthropic dan OpenAI memang jauh lebih baik daripada yang lain. Model berbobot terbuka secara umum terasa terlalu dioptimalkan untuk benchmark, dan pengalaman nyata sangat berbeda dari yang disiratkan benchmark.
    Saat mengatakan pengalaman seperti ini, saya sering kena downvote karena itu bukan kenyataan yang ingin didengar orang saat ini, tetapi untuk pekerjaan kompleks memang begitulah faktanya.
    Saya pikir untuk banyak tugas yang mudah, model berbobot terbuka sudah cukup jika ditangani pengguna yang berpengalaman. Jika itu jenis pekerjaan yang bisa diserahkan ke junior dengan sedikit pengawasan, model apa pun bisa melakukannya.
    Tetapi dalam banyak tugas yang saya kerjakan, bahkan Opus 4.8 Max pun tetap harus saya awasi dengan cermat, diberi arahan, dan ditinjau. Fable juga begitu, hanya tidak separah itu.
    Saat mencoba model berbobot terbuka yang besar, di lokal kecepatannya tidak masuk akal pada tingkat kuantisasi yang masih bisa ditoleransi, jadi akhirnya dipakai lewat hosting. Untuk tugas besar, waktu terasa makin lama karena kita membakar token sambil menunggu output yang kemungkinan besar tetap akan dibuang. Saya berharap level itu segera tercapai, tetapi sekarang belum.

    • Ada contohnya?

  • Claude baru mulai terasa layak dipakai untuk coding setelah mencapai 4.6. Setelah itu memang masih ada tambahan fitur yang bagus untuk dimiliki, tetapi jika Sonnet 4.6 dan Opus berbobot terbuka, rasanya saya tidak akan butuh apa-apa lagi.
    Keyakinan itu makin kuat setelah sedikit mencoba Fable.

  • Saya ingin lebih terbiasa dengan inferensi lokal, tetapi tidak punya hardware, jadi saya mulai memikirkan sesuatu seperti koperasi lokal yang tampaknya jarang dibahas.
    Dari sisi ekonomi, mungkin masuk akal jika beberapa orang bergabung untuk menjalankan hardware bagus dan model terbuka, tetapi saya belum pernah melihat pembahasan seperti itu. Jadi saya bertanya-tanya apakah saya yang melewatkannya.
    Akan sangat keren jika ada layanan yang membantu orang-orang yang ingin ikut model seperti itu untuk saling menemukan.

    • Alasan kita jarang melihat hal seperti ini adalah karena semua orang menghitung-hitungnya, sadar bahwa itu bukan transaksi yang bagus, lalu menyerah.
      Bahkan sekarang ada postingan di bagian teratas /r/localllama yang membahas hitungan persis ini: https://www.reddit.com/r/LocalLLaMA/comments/1ubrcwj/tokenom...
      Singkatnya, menjalankan GLM 5.2 butuh setidaknya sekitar 20 ribu dolar, dan akan terasa menyakitkan lambatnya dibanding versi cloud-hosted. Bahkan dengan asumsi server menghitung token 24 jam sehari, tetap butuh bertahun-tahun untuk mencapai titik impas.
      Satu-satunya alasan menjalankannya secara lokal adalah jika privasi data penuh adalah prioritas utama. Untuk itu, Anda pada dasarnya membayar premi yang tinggi.
    • Ada banyak tempat yang menyediakan model terbuka dengan tarif sangat murah. Secara umum saya sarankan melihat OpenRouter, yang melacak berbagai metrik dari banyak penyedia.
    • https://news.ycombinator.com/item?id=48524387
    • Model terbuka yang di-host di cloud???

  • Memang begitu, tapi OpenAI juga harganya sama. z.ai itu US$18 per bulan. Kenapa harus bayar itu kalau OpenAI US$20 per bulan?

    • Satu keuntungan besar yang saya lihat adalah orang-orang punya keterikatan pada model. Saya juga begitu. Dengan model terbuka, kalau Anda menemukan model yang benar-benar cocok lalu versi berikutnya ternyata kurang bagus, Anda bisa menjalankan versi lamanya selamanya. Bisa Anda jalankan sendiri atau orang lain yang melakukannya untuk Anda
    • Salah satu alasannya bisa jadi batas permintaan. ChatGPT Plus w/Codex dari OpenAI (US$20/bulan), dalam kasus terburuk, punya batas 5 jam: GPT-5.5 sebanyak 15 kali, GPT-5.4 sebanyak 20 kali, dan GPT-5.4-Mini sebanyak 60 kali
      Sementara itu Z.ai Lite (US$18/bulan) memberi sekitar 80 kali untuk GLM 5.2 dalam kasus terburuk. Itu berdasarkan jam non-puncak, dan jam puncaknya adalah pukul 02.00–06.00 waktu New York. Jadi Z.ai bisa memberi batas yang lebih tinggi dengan harga yang lebih murah
      (https://codeberg.org/mutablecc/calculate-ai-cost/src/branch/...)
    • https://news.ycombinator.com/item?id=48618455
    • OpenCode Go harganya US$10 per bulan, dan batasnya juga jauh lebih longgar daripada yang itu maupun Codex
    • Sepertinya di halaman harga hal itu sudah tidak disebutkan lagi, tetapi paket coding z.ai dulu mengklaim penggunaan 3x dibanding paket Claude di kisaran harga yang sama. Saya tidak tahu seberapa akurat itu, tetapi kalau hanya melihat harga API, GLM memang jauh lebih murah

  • Ada masa ketika Linux jelas sangat mumpuni, tetapi untuk membuatnya enak dipakai perlu banyak oprek dan usaha tambahan, sehingga mudah merasa seperti pembangkang saat memakainya
    Namun dari pengalaman saya, model terbuka masih belum sampai ke titik itu, baik dari sisi kemampuan maupun kebutuhan operasional. GLM5.2 memang terlihat mumpuni, tetapi untuk menjalankannya pada tingkat kemampuan seperti itu kemungkinan perlu klaster GPU yang sangat besar
    Kalau Anda mengakses model terbuka lewat API hosting, jadinya tidak berbeda dengan memakai model tertutup lewat API hosting. Dibandingkan saat memakai Linux 15 tahun lalu, insentifnya runtuh
    Jangan salah paham. Saya ingin bisa puas menjalankan model lokal, tetapi sekarang belum waktunya

    • “Kalau Anda mengakses model terbuka lewat API hosting, itu sama saja dengan memakai model tertutup lewat API hosting” itu tidak benar
      Intinya adalah karena tidak dikendalikan oleh satu pihak tunggal, Anda tidak bisa dikenai enshittification. Itu sudah pernah terjadi, sedang terjadi sekarang, dan akan terus terjadi
      Dengan bobot terbuka, Anda tidak akan mudah digiring, dikunci, atau diputus aksesnya. Kalaupun ada perusahaan yang mencoba begitu, orang lain yang punya server farm bisa menerima Anda sebagai pelanggan, dan yang perlu diubah di alur kerja Anda hanya URL API dan key-nya
      Anda tetap akan berbicara dengan model yang sama persis, dengan kepribadian dan pengetahuan yang sama

  • Saya agak setuju dengan arah besar tulisannya, tetapi ada dua hal
    Pertama, dalam pengujian saya, model terbuka masih belum setara untuk bersaing dengan Claude Opus dalam pengembangan perangkat lunak dan pekerjaan terkait rekayasa, setidaknya untuk saat ini
    Kedua, nikmati selagi masih ada. Saya akan benar-benar terkejut kalau sekitar akhir tahun ini model-model terbuka seperti ini tidak dinyatakan “ilegal” dengan dalih keamanan. Saya menyebutnya dalih karena pendorong utamanya kemungkinan besar adalah penangkapan regulasi dan proteksionisme industri

    • Jika AS melarang model, yang justru akan makin kuat hanyalah negara pesaing seperti Tiongkok