GLM 5.2 dan Runtuhnya Margin Inferensi AI yang Akan Datang

 (martinalderson.com)
1 poin oleh GN⁺ 4 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • GLM 5.2 menunjukkan bahwa model open weights dapat mendekati tugas agen setara Opus dan GPT, sehingga berpotensi menekan margin inferensi yang tinggi dari model frontier tertutup
  • Isu biaya AI bukan biaya pelatihan sekali pakai, melainkan biaya inferensi yang meningkat mengikuti permintaan, dan harga API di kisaran $25/MTok kemungkinan mencakup margin kotor yang tinggi
  • Kualitasnya sulit dibedakan dari Opus, tetapi karena cenderung banyak “berpikir”, kecepatan dan penggunaan token meningkat; ketiadaan dukungan vision dan pencarian web yang lemah tetap menjadi kekurangan
  • Berkat endpoint kompatibel OpenAI dan Anthropic dari Z.ai dan Fireworks, di Claude Code dan Codex eksperimen bisa dilakukan hanya dengan mengganti base URL dan API key
  • Harga GLM 5.2 sekitar $4.40/MTok, kurang dari 20% harga ritel Opus dan sekitar 15% dari GPT5.5, serta bisa turun lebih jauh lewat optimalisasi stack serving dan pemanfaatan AMD

Struktur biaya: margin lebih ditentukan oleh biaya inferensi daripada biaya pelatihan

  • Saat DeepSeek R1, pasar bereaksi terhadap laporan bahwa biaya pelatihan model V3 kurang dari 6 juta dolar, lalu menafsirkannya sebagai tanda bahwa investasi fasilitas berskala besar untuk pelatihan model telah berakhir; ini lebih dekat sebagai contoh salah membaca struktur biaya AI
  • Biaya pelatihan membutuhkan modal besar, tetapi pada dasarnya sangat bersifat biaya tetap di muka
    • Lab frontier terus melatih model baru untuk mempertahankan persaingan, jadi ini bukan biaya satu kali sepenuhnya
    • Meski begitu, sifatnya berbeda dari biaya inferensi yang meningkat sebanding dengan penggunaan pelanggan
  • Biaya inferensi meningkat bersama permintaan dan menciptakan biaya marjinal nyata
  • Ketika Anthropic dan OpenAI mengenakan $25/MTok untuk inferensi, ada perhitungan yang menunjukkan kemungkinan margin kotor sekitar 90% dibanding biaya komputasi
    • Dokumen keuangan OpenAI yang bocor mengisyaratkan margin kotor sekitar 60% berdasarkan pendapatan, tetapi kemungkinan angka ini mencakup dukungan, pemrosesan pembayaran, dan biaya layanan lain
  • Model bisnis lab AI frontier adalah melatih model dengan tenaga kerja dan komputasi mahal, lalu mengamortisasi biaya tersebut melalui inferensi dalam volume besar yang sangat menguntungkan

Kualitas dan pengalaman penggunaan GLM 5.2

  • GLM 5.2 dari Z.ai dapat dilihat sebagai model pesaing open weights pertama yang benar-benar menantang Opus dan GPT
    • GPT terbaru pada saat penulisan disebut sebagai GPT 5.5
    • Ada pula catatan bahwa model mendatang dapat melampaui level ini
  • Dalam penggunaan nyata, kualitasnya sangat tinggi hingga sulit dibedakan dari Opus yang digunakan sehari-hari
  • Kekurangan terbesarnya adalah kecepatan yang terasa lambat
    • Untuk tugas agen non-interaktif yang tidak terlalu sensitif waktu, seperti review PR di latar belakang, ini bukan masalah besar
    • Dalam penggunaan interaktif, kecepatannya agak lambat untuk mempertahankan fokus perhatian
    • Kelambatan ini terutama muncul bukan dari serving itu sendiri, melainkan dari model yang banyak “berpikir”
    • GLM 5.2 di Fireworks diluncurkan dengan tokens/sec yang cepat, tetapi kecepatan aktualnya agak tidak stabil
  • Karena sifatnya yang lebih banyak berpikir, penggunaan token meningkat dan sebagian menurunkan efisiensi biaya

Kelemahan pada vision dan pencarian web

  • GLM 5.2 tidak memiliki dukungan vision
    • Setelah fitur vision resolusi tinggi di Opus 4.7, penggunaan untuk membaca PDF berbasis gambar, screenshot, dan file desain meningkat, sehingga kelemahan ini terasa signifikan
    • Ini tetap menjadi kelemahan penting dibanding lab frontier
  • Ketiadaan atau rendahnya kualitas fitur pencarian web juga membatasi tugas agen
    • Hampir semua sesi agen melakukan banyak pencarian web untuk mencari item
    • Z.ai menyediakan MCP pengganti untuk pencarian web, tetapi lambat dan kualitasnya rendah
    • Fireworks tidak menyediakan fitur pencarian web
  • Sebagai solusi sementara, agen bisa diarahkan untuk menggunakan pencarian web berbasis CLI seperti ddgr
  • API pencarian web pihak ketiga yang bagus dapat mengisi celah besar yang belum diisi oleh penyedia model open weights
  • Kemampuan pencarian web sangat penting untuk banyak tugas agen, dan ini dapat teratasi seiring waktu jika pihak yang membuat indeks pencarian memiliki kemitraan dan pekerjaan integrasi yang tepat

Model open weights dengan biaya perpindahan rendah

  • Bagian yang lebih mengancam bagi lab frontier adalah rendahnya tingkat kesulitan migrasi ke model open weights
  • Z.ai dan Fireworks sama-sama menyediakan endpoint kompatibel OpenAI dan kompatibel Anthropic
    • Di Claude Code dan Codex, base URL diubah ke penyedia inferensi
    • API key diatur
    • Model yang digunakan ditetapkan sebagai GLM 5.2
  • Dalam situasi ketika Anthropic sempat mengumumkan lalu menarik kembali rencana mengenakan biaya API untuk penggunaan agen non-interaktif claude -p, banyak use case dapat diganti dengan GLM
  • Dalam penggunaan interaktif pun, kecuali ketiadaan vision dan kecepatan yang lambat, hampir sulit menyadari bahwa model yang digunakan di dalam Claude Code bukan Opus
  • Peralihan ini bukan migrasi ala lock-in Microsoft atau Salesforce yang harus direncanakan selama bertahun-tahun
    • Biaya perpindahannya rendah
    • Bisa lebih rendah daripada biaya mengikuti perubahan kebijakan dan ketentuan lab frontier
    • Ada kemungkinan Claude Code di masa depan membuat penggunaan penyedia pihak ketiga menjadi lebih sulit
    • Ada banyak alternatif open source yang bagus, termasuk Codex dan OpenCode

Adopsi perusahaan: perlindungan data dan pilihan deployment

  • Kekhawatiran yang sering muncul di perusahaan adalah privasi dan keamanan data
  • API dan langganan resmi Z.ai dipandang sulit menjadi pilihan bagi perusahaan karena ketentuan yang lemah dan hubungan yang dalam dengan Tiongkok daratan
  • Model open weights memungkinkan memilih penyedia lain
    • Di pasar ada banyak penyedia dengan persyaratan kontrak yang lebih sesuai
    • Jika perlu, hosting on-premises juga memungkinkan
  • Deployment on-premises memungkinkan data yang lebih sensitif, yang sebelumnya tidak dapat dikirim ke pihak ketiga mana pun, digunakan dalam workflow agen setara Opus

Harga dan tekanan terhadap margin

  • Harga GLM 5.2 saat ini sekitar $4.40/MTok
    • Kurang dari 20% harga ritel Opus
    • Sekitar 15% dari biaya GPT5.5
  • Ini bukan perbandingan apples-to-apples sepenuhnya karena GLM 5.2 memakai lebih banyak token pada tugas yang sama
  • Meski begitu, kemungkinan besar model ini dapat memberikan kualitas serupa dengan biaya lebih dari 50% lebih murah di hampir semua workflow
  • Z.ai menawarkan langganan “coding plan” yang mirip dengan paket Anthropic dan OpenAI, sambil menonjolkan batas penggunaan yang lebih tinggi
    • Namun ketentuan yang longgar terkait pelatihan dan retensi data dapat menyulitkan penjualan untuk penggunaan profesional
    • Jika lab frontier menaikkan harga secara signifikan, ini dapat menjadi pilihan tepercaya bagi pengguna yang mementingkan anggaran
  • Biaya GLM 5.2 diperkirakan akan turun besar dalam beberapa bulan ke depan melalui optimalisasi stack serving
    • Wafer merangkum pengalaman menjalankan GLM 5.2 di hardware AMD
    • Mereka menyatakan bahwa menjalankan inferensi di AMD membuat biaya per token 2,75 kali lebih murah dibanding Nvidia Blackwell
  • Fireworks menyediakan kredit gratis untuk eksperimen GLM

Bacaan terkait

1 komentar

 
GN⁺ 4 jam lalu
Opini Hacker News

  • Saya tidak yakin biaya pokoknya sendiri sepenting itu

    1. Sejak munculnya cloud, biaya komputasi turun tajam, tetapi para hyperscaler masih mempertahankan margin tinggi
    2. Ada banyak suite office open source, tetapi tidak mampu menyaingi keberlakuan luas G Suite atau Office; GitHub dan Slack juga mirip
    3. Windows dan macOS tetap mendominasi desktop rumahan meski alternatif gratis sudah ada sejak lama
    4. Komponen infrastruktur yang dulu open source seperti Redis dan Elastic Search juga punya alternatif turunan Apache, tetapi masih menghasilkan margin bagus
      Saya paham argumen soal runtuhnya margin, tetapi sulit melihat analogi historisnya. Perusahaan tampaknya akan membayar mahal untuk jaminan layanan, integrasi, dan pihak yang bisa digugat, dan pada akhirnya pola “tidak ada yang dipecat karena membeli IBM” seperti terulang lagi
    • Menurut saya analogi ini tidak begitu jelas. Pertama, input-output LLM berupa teks, jadi hampir tidak ada efek lock-in dan mudah berpindah. Kedua, saya rasa Anda meremehkan seberapa besar tagihan yang dibayar perusahaan, dan departemen keuangan sudah mendapat instruksi menahan pengeluaran bahkan saat subsidi masih besar
      Ketiga, strategi AS tampaknya mengarah pada pembatasan artifisial atas akses ke model yang kuat, sementara jika Tiongkok mempertahankan laju saat ini, dalam 6 bulan mereka akan merilis model sebaik Fable dan tidak akan menguncinya. Jika ada model yang lebih murah dan lebih baik secara terbuka, insentif untuk beralih akan sangat besar, dan Tiongkok jauh lebih kecil motivasinya untuk menaikkan harga jika mereka sedang merebut pangsa. David Sacks dan strategi AI pemerintah AS sangat rabun jauh dan sepertinya akan menjadi bumerang
    • Saat memikirkan analogi historis, bias penyintas sangat besar. Sebab ketika margin runtuh dan kompetisi membuat suatu industri menjadi komoditas, nama-nama monopoli besar pada masanya sudah tidak lagi tersisa
      Margin chip memori runtuh pada 1980-an sehingga Intel sepenuhnya keluar dari bisnis chip memori; saat itu Intel lebih dikenal sebagai perusahaan chip memori daripada perusahaan mikroprosesor. Margin workstation kelas atas juga runtuh menghadapi mesin kompatibel IBM PC yang murah dan ledakan perangkat lunak MS Windows, dan itu menjadi pemicu langsung hilangnya SGI, Sun, Symbolics, Lucid, LMI, dan lainnya
      Varian UNIX proprietari seperti HP-UX, IRIX, AIX, SCO Unix pada dasarnya lenyap, digantikan oleh sistem operasi proprietari yang lebih murah seperti Windows dan MacOS, atau keturunan open source seperti Linux dan BSD. Vendor basis data komersial seperti Oracle, dBase, Sybase, FoxPro, SQL Server dan Access dari Microsoft juga mendapat tekanan margin kuat dari PostGres, MySQL, SQLite; Oracle bertahan berkat basis instalasi raksasa dan tim legalnya, Microsoft karena bisa melakukan subsidi silang dari monopoli OS dan Office, tetapi dBase, Sybase, FoxPro menghilang
    • Berbeda dari contoh-contoh itu, mengganti LLM murah dan mudah. Sampai-sampai setiap 3 bulan ada model baru, orang langsung mulai memakainya
      Meski penyedianya berbeda, pengalaman pengguna tetap sama: kirim prompt, lalu jawaban datang. Pada kasus lain, orang harus kehilangan dukungan atau menanggung periode migrasi yang sulit, tetapi LLM sejak awal hampir tidak punya dukungan, dan migrasinya hanya sebatas memperbarui harness saat ini agar mengenali model lain
      Perbandingan yang lebih tepat mungkin kebangkitan AMD. Mungkin tidak sampai mendominasi pasar, tetapi meninggalkan goresan besar, dan faktor besarnya adalah AMD x86 cukup dekat dan kompatibel dengan Intel x86, sekaligus jauh lebih murah
    • Mereka bukan sekadar membutuhkan margin bagus; mereka harus mengembalikan hampir 1 triliun dolar dalam beberapa tahun. Membandingkannya dengan Elastic Search atau Redis kurang tepat
      Hyperscaler berhasil karena ada nilai nyata dibanding alternatif gratis, dan biaya pindah penyedia sangat besar. Windows dan macOS juga memiliki biaya beralih yang sangat tinggi, dan sering kali tidak memungkinkan. Office pun biaya transisinya besar karena masalah kompatibilitas dan pelatihan ulang karyawan
      Pada akhirnya intinya adalah efek lock-in, dan sejauh ini LLM tampaknya tidak memilikinya. Jadi menurut saya poin-poin sebelumnya tidak terlalu cocok di sini
    • Menurut saya suite office open source tidak mampu menyaingi keberlakuan luas G Suite atau Office karena kolaborasi sulit dipecahkan. Tanpa kolaborasi, hampir tidak ada yang ditawarkan G Suite/Office
      Mac OS juga gratis. Maksudnya gratis seperti bir gratis
      Memang benar perusahaan membayar mahal untuk jaminan layanan, integrasi, dan pihak yang bisa digugat, tetapi secara garis besar perusahaan-perusahaan AS luar biasa kaya sehingga mungkin bukan contoh pembelanja rasional yang baik

  • Bulan lalu saya membatalkan langganan Claude Pro dan memakai 20 dolar itu untuk membeli kredit Openrouter. Sebagian besar pertanyaan eksplorasi pengetahuan bisa dijawab dengan Gemma4, penyuntingan kode dasar cukup dengan Qwen3.6 27b, dan untuk pekerjaan yang benar-benar sulit pun GLM5.2 masih sanggup
    Saya juga bukan pengguna AI yang berat, jadi dengan skema kredit API yang memakai model sekecil mungkin sesuai kompleksitas tugas, saya justru menghemat uang

  • Setuju, tetapi dari arah sebaliknya. AI terus mengambil alih pekerjaan saya sebagai senior system software engineer C/C++, tetapi selama beberapa bulan saya hanya menghabiskan beberapa ratus dolar untuk memakai gpt-5.5/5.6 dan codex
    Saya tidak tahu orang-orang melakukan apa sampai membakar token sebanyak itu, tetapi bagi saya ini luar biasa murah dan setiap hari saya menemukan fitur baru. Entah biayanya naik atau turun, dibandingkan dengan apa yang saya dapatkan ini terlalu murah, jadi saya tidak peduli

    • Karena kita membayar harga konsumen ritel, yaitu biaya langganan. Token yang sama bisa menelan biaya ribuan dolar dalam penagihan enterprise
    • Alur kerja agentik mengonsumsi banyak. Ini kasus ketika loop agen otomatis terus bergerak menuju suatu tujuan
      Jika memakai LLM sebagai asisten kerja pribadi, token yang dipakai tidak sebanyak itu, tetapi jika beberapa agen dibiarkan bekerja secara independen dan saling meninjau pekerjaan, anggaran benar-benar habis dengan sangat cepat
    • Karena ketidaktahuan, higiene kode yang buruk, dan prompt yang buruk. Dari posisi saya yang hampir tidak bisa coding, pada era sebelum agen, ketika batas penggunaan Gemini IDE hampir tidak ada, saya punya proyek-proyek lama yang dibuat dengan vibe coding, lalu file-file membengkak menjadi ribuan baris lebih dan backlog bug menumpuk
      Model-model bodoh mulai runtuh di titik itu, dan karena proyeknya lumayan bisa dipakai untuk kebutuhan saya, saya berhenti. Setelah itu muncul agentic coding dan model yang cukup pintar untuk memperbaiki masalah, tetapi codebase-nya terlalu berantakan sehingga ditangani dengan sangat tidak efisien. Hanya beberapa prompt saja bisa menghabiskan jatah 5 jam
      Setelah menghabiskan beberapa hari membuat agent.md yang layak dan me-refactor codebase, sekarang token hanya terpakai sedikit-sedikit. Saya rasa masih banyak orang berada di kapal yang sama. Banyak dari kami sama sekali tidak tahu praktik terbaik, dan tidak tahu cara memberi tahu agen bagaimana harus bertindak
      Kalau dipikir lagi, seharusnya saya belajar dasar-dasarnya selama beberapa hari, tetapi masalahnya adalah kita tidak tahu apa yang tidak kita tahu. Saya sulit percaya perusahaan-perusahaan benar-benar melakukan onboarding pengguna baru dengan mem-prompt agen agar bertindak penuh pertimbangan; lebih menguntungkan bagi mereka untuk membuat orang seperti saya ketagihan dan memakai token sebanyak mungkin. Saya menghabiskan beberapa ratus dolar ekstra untuk langganan dan tier yang tidak perlu, tetapi saat itu, dibanding peningkatan produktivitas dari 0 ke 1, itu terasa kecil
    • Pengalaman saya sama. Saya benar-benar tidak mengerti bagaimana orang bisa membakar konsumsi token sebesar yang mereka klaim
    • Kira-kira pernah memimpin penulisan kode berskala 500 ribu baris

  • Karena modelnya sendiri tidak punya kemampuan vision native, ada vision MCP untuk menutupinya: https://docs.z.ai/devpack/mcp/vision-mcp-server
    Web search juga umumnya lumayan. Kalau memakai harness ZCode, kuota Coding Plan jadi lebih besar: https://zcode.z.ai/en
    Saya sempat mencobanya, dan posisinya kira-kira di antara OpenCode Desktop dan Claude Desktop. OpenCode Desktop masih baru tetapi bagus, sedangkan Claude Desktop versi terbaru bagus
    Sebagai model, GLM 5.2 secara umum memuaskan pada mode berpikir maksimum, kira-kira di antara Sonnet 5 dan Opus 4.8, dan jelas lebih baik daripada DeepSeek V4 Pro
    Dari sisi harga, langganannya tidak tampak sebagus yang diharapkan. Batas mingguan paket Pro seharga 50 dolar sudah saya pakai sekitar 60% dalam sehari; itu pun karena setiap batas 5 jam hanya memungkinkan saya memakai 20%, kalau tidak mungkin sudah 80–100%. Saya juga tidak melakukan pekerjaan yang sangat gila; hanya menjalankan pekerjaan panjang secara paralel di 2 proyek, dengan cache hit rate sekitar 96% dan maksimal 3 sub-agen code review paralel
    Langganan Max 100 dolar mungkin akan bertahan sepanjang minggu, tetapi Anthropic juga begitu dengan uang yang sama, dan OpenAI mungkin juga. Jam non-peak lebih baik, tetapi saya tidak bisa cuma duduk berpangku tangan dari pukul 09.00 sampai 13.00 waktu lokal
    Penghematan yang benar-benar terasa mungkin baru muncul jika paket Max dipasangi pembayaran tahunan, tetapi itu lebih sulit diyakinkan

  • Penting bahwa perusahaan-perusahaan ini tidak bisa berkolusi untuk menetapkan harga. Adanya Tiongkok sebagai pesaing memastikan hal itu
    Cara termudah memahami ekonomi token masih mikroekonomi dasar. Bagaimana ini bisa bukan pasar kompetitif, yaitu pasar yang labanya menuju nol?
    Apa pun yang dilakukan A atau O untuk mempertahankan margin lebih tinggi bisa disalin pesaing atau dihargai lebih rendah, dan menurunkan harga juga punya keuntungan karena bisa mengumpulkan data pelatihan. Selain kolusi atau penetapan harga, apa yang bisa mencegah laba kotor token menuju nol?

    • Ada yang terlewat: yang akan mencegahnya adalah kebijakan industri pemerintah federal
    • Melihat kondisi di dalam satu pasar juga masih mikroekonomi. Saya setuju, tetapi sulit melihat dari mana perusahaan-perusahaan akan memperoleh kekuatan pasar, jadi sepertinya laba akan mendekati nol
      Namun saya dulu berpikir hal yang sama soal GPU, dan Nvidia masih tampak belum punya pesaing yang benar-benar kuat di datacenter

  • Analogi favorit saya adalah AI akan menjadi semurah listrik
    Saat memakai listrik, apakah Anda tahu siapa pemasoknya dan dari pembangkit mana asalnya? Mungkin tidak. Listrik adalah komoditas serbaguna dan sebagian besar sudah mapan, karena sumber daya energi melimpah. Ada energi alternatif, ada juga tambang batu bara. Semuanya bersaing dalam perdagangan pasokan-permintaan energi yang berlangsung real-time. Di sini, bayangkan OpenRouter
    Pada akhirnya, konsumen menang karena kelimpahan
    Contoh terbesar yang akan menunjukkan kelimpahan kecerdasan yang murah dan tak terbatas tampaknya bukan GLM5.2, melainkan DeepSeek V4 Pro max, dengan harga 0,435 dolar per 1 juta token input dan 0,87 dolar per 1 juta token output

  • Saya tidak mengerti argumen bahwa “pelatihan memang membutuhkan belanja modal besar, tetapi itu biaya tetap yang dibayar di muka; setelah menghabiskan ratusan juta dolar untuk melatih model, selesai sudah.”
    Jika ada pesaing dan orang terus mengharapkan lebih banyak, sehingga Anda harus terus melatih model baru, lalu biaya pelatihan tampaknya makin besar dibanding tingkat peningkatannya, bukankah ini menjadi biaya berkelanjutan yang harus terus ditanggung? Catatan kaki memang mengisyaratkan hal ini, tetapi pada akhirnya tampaknya dilewati begitu saja
    Saya juga penasaran apakah ada biaya pelatihan inkremental untuk terus menjaga model tetap relevan. Atau apakah model hanya mengetahui peristiwa sampai hari ketika ia dilatih?

    • Model-model ini bergantung pada pengetahuan yang tertanam di dalam bobotnya. Ketika pustaka baru muncul, versi Linux baru dirilis, atau suatu protokol baru menggantikan yang lama, kita akan ingin LLM mengetahuinya
      Tentu saja itu bisa dimasukkan ke jendela konteks, tetapi cara itu punya masalahnya sendiri
      Kecuali beberapa riset baru yang tampak menjanjikan memberi metode baru, biaya pelatihan akan terus menjadi lubang kebocoran biaya
      Selain itu, jika Anda berhenti melatih, enam bulan kemudian seseorang akan merilis model berbobot terbuka, dan sekarang Anda harus bersaing menyediakan produk yang sama dengan harga serendah mungkin
      Jangan lupa juga bahwa bisnis ini bukan sekadar alat teknis, melainkan bisnis yang harus masuk ke pasar tenaga kerja global. Untuk membenarkan valuasi 1 triliun dolar, modelnya harus jauh lebih baik

  • Mengatakan ini “perubahan mendatang yang paling kurang dipahami dalam ekonomi AI,” lalu membahas hal yang muncul di berita AI setiap hari. Rasanya seperti belum pernah mendengar bahwa model open source makin murah dan kualitasnya naik
    Pertama, menurut tolok ukur apa pun, GLM5.2 tidak sebagus Opus
    Kedua, memang benar model open source pada akhirnya akan menekan margin, dan semua orang tahu itu. Tetapi apakah model bisnis AI hari ini akan tetap sama besok?

    • GLM-5.2 bukan sebagus Opus, melainkan lebih baik. GLM-5.2 bisa di-disisinhibisi dan dipakai untuk proyek-proyek yang ditolak Opus
    • Tergantung apa yang Anda kerjakan. Untuk tugas kompleks atau tugas yang definisinya buruk, Opus mungkin tepat, tetapi untuk tugas yang relatif sederhana atau sangat terdefinisi dengan baik, GLM-5.2 sama bagusnya dan biasanya jauh lebih cepat
      Kepribadiannya juga lebih netral dan tidak se-konfrontatif Opus. Opus selalu terasa seperti “kalau boleh saya membantah itu...”, sedangkan GLM lebih seperti “baik, saya mengerti!” Saya memakai keduanya dan menilai keduanya bagus, tetapi kalau Opus hilang besok, saya tidak akan menangis. Saya bisa cepat beradaptasi hanya dengan GLM-5.2

  • Ada yang bilang kemampuan pencarian web GLM 5.2 buruk, tetapi menurut saya itu tanggung jawab harness
    Saya menjalankan sendiri instans SearXNG di VPS dan mengintegrasikannya ke Pi bersama alat webfetch, dan sejauh ini GLM 5.2 menemukan berbagai hal dengan baik. Ketika saya meminta berita terbaru dari koran online Austria yang sulit diparse karena overlay iklan agresif, aplikasi chat bawaan ChatGPT dan Claude sama-sama gagal. GLM 5.2 di dalam Pi cukup cerdas untuk mencari feed RSS dan memberi ikhtisar yang detail
    Tidak adanya vision memang sangat disayangkan. Saya sudah mengimplementasikan solusi sementara di Pi dan hasilnya lumayan, tetapi tidak terlalu bagus dan keseluruhan pengalamannya terasa canggung

  • Ini terlihat seperti tulisan yang cukup tidak bermakna karena hanya berfokus pada token keluaran
    Dalam coding berbasis agen, token masukan yang di-cache adalah 90% dari “biaya” API. Itu tidak memerlukan komputasi GPU, dan DeepSeek menunjukkan bahwa dengan MLA/CSA/HCA serta banyak disk, itu bisa ditangani 50–100 kali lebih murah. Inilah yang akan meruntuhkan margin

    • Bukankah lab-lab AI AS sedang mati-matian mencari pasar lain selain coding berbasis agen?
    • Bukankah MLA/CSA/HCA semuanya teknik kompresi lossy? Saya bertanya-tanya apakah itu juga salah satu alasan orang mengeluhkan penurunan kualitas seiring membesarnya ukuran konteks
    • Komentar teratas saat ini di https://lobste.rs/s/ua1gxl/glm_5_2_coming_ai_margin_collapse tepat menyoroti token masukan yang di-cache, tetapi sampai pada kesimpulan berlawanan
      Isinya kurang lebih: “Dengan biaya 100 dolar per bulan, Anda mendapat penggunaan API senilai 3600 dolar. Ini mungkin karena Anthropic menemukan cara cerdas dalam routing model dan caching input, mensubsidinya dengan uang investor, dan juga bersedia menanggung kerugian margin operasional”
      Interpretasi saya adalah bahwa inilah gambaran yang Anthropic ingin semua orang percayai. Kenyataannya, 90% dari 3600 dolar itu adalah token masukan yang di-cache, dan seperti yang ditunjukkan DeepSeek, itu bisa dibuat nyaris gratis