1 poin oleh GN⁺ 4 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Microsoft sedang menekan biaya alat AI internal dengan membatalkan sebagian besar lisensi langsung Claude Code dan memindahkan para insinyur ke GitHub Copilot CLI
  • Claude Code sempat diberikan kepada ribuan karyawan untuk eksperimen pemrograman dan cepat menjadi populer, tetapi seiring skala penggunaan membesar, beban biayanya juga meningkat
  • Uber telah menghabiskan seluruh anggaran alat coding AI untuk 2026 hanya dalam 4 bulan, dan mendorong penggunaan alat AI per tim lewat leaderboard internal
  • Semakin perusahaan meningkatkan penggunaan token demi produktivitas, total tagihan bisa ikut membesar meski harga per token turun
  • Goldman Sachs memperkirakan AI agenik dapat meningkatkan konsumsi token hingga 24 kali lipat pada 2030, dan Gartner juga menilai kenaikan konsumsi bisa melampaui penurunan harga satuan

Perluasan penggunaan AI internal di perusahaan dan beban biaya

  • Microsoft mulai membatalkan sebagian besar lisensi langsung Claude Code setelah laporan The Verge, dan sedang memindahkan para insinyur ke GitHub Copilot CLI
  • Akses Claude Code diberikan 6 bulan lalu kepada ribuan karyawan, termasuk developer, manajer proyek, dan desainer, untuk eksperimen pemrograman dan cepat menjadi populer, tetapi masalah biaya mulai menonjol seiring skala penggunaan membesar
  • Pembatalan lisensi Claude Code tidak memengaruhi kontrak Foundry Microsoft
    • Kontrak ini mencakup investasi hingga $5 miliar ke Anthropic, akses model Claude bagi pelanggan Foundry, dan komitmen pembelian kapasitas komputasi Azure senilai $30 miliar oleh Anthropic
  • CTO Uber Praveen Neppalli Naga mengatakan kepada The Information bahwa Uber sudah menghabiskan seluruh anggaran alat coding AI untuk 2026 hanya dalam 4 bulan
  • Uber secara aktif mendorong adopsi lewat leaderboard internal yang memberi peringkat penggunaan alat AI per tim
  • Wakil presiden applied deep learning Nvidia Bryan Catanzaro mengatakan dalam wawancara dengan Axios, “Di tim saya, biaya komputasi jauh melampaui biaya karyawan.”
  • Anthropic tidak segera menanggapi permintaan komentar dari Fortune, dan Microsoft juga tidak memberikan komentar

Mengapa token yang lebih murah bisa menghasilkan tagihan yang lebih besar

  • Perusahaan mendorong perluasan penggunaan AI oleh karyawan demi peningkatan produktivitas, tetapi dalam skema penagihan berbasis token, makin besar penggunaan maka makin besar pula total biayanya
  • Seorang karyawan Meta membuat leaderboard bernama “Claudeonomics” yang diambil dari nama model Anthropic untuk melacak penggunaan AI per karyawan
  • Amazon mendorong karyawannya untuk melakukan “tokenmaxxing”, yang berarti menggunakan token sebanyak mungkin, unit dasar komputasi AI
  • Goldman Sachs memperkirakan bahwa dengan adopsi agen AI oleh konsumen dan perusahaan, AI agenik dapat meningkatkan konsumsi token hingga 24 kali lipat pada 2030 menjadi 120 triliun triliun token per bulan
  • Gartner memperkirakan bahwa pada 2030, biaya inferensi LLM 1 triliun parameter akan hampir 90% lebih rendah dibanding 2025, tetapi memprediksi token yang lebih murah tidak otomatis langsung menghasilkan penghematan biaya AI perusahaan
    • Model agenik membutuhkan jauh lebih banyak token per tugas dibanding model standar
    • Kenaikan konsumsi bisa melampaui penurunan harga satuan
    • Penyedia AI mungkin tidak sepenuhnya meneruskan penurunan biaya kepada konsumen
  • Senior director analyst Gartner Will Sommer memperingatkan, “CPO tidak boleh mengacaukan deflasi token generik dengan demokratisasi inferensi frontier.”
  • CEO Nvidia Jensen Huang pernah mengatakan bahwa suatu hari 100 agen AI akan bekerja bersama setiap 1 karyawan, tetapi jika konsumsi token meningkat lebih cepat daripada penurunan harga satuan, masa depan agen seperti ini bisa disertai biaya yang jauh lebih berat daripada perkiraan para eksekutif

1 komentar

 
GN⁺ 4 jam lalu
Komentar Hacker News
  • Diskusi aktif berdasarkan sumber aslinya ada di sini: https://news.ycombinator.com/item?id=48238896
    Artikelnya menyebut, “The Verge melaporkan bahwa Microsoft mulai mencabut sebagian besar lisensi langsung Claude Code.”

    • Artikel ini tampaknya ditulis dengan cukup ceroboh
      1. Tidak ada kutipan yang menyatakan Microsoft mengatakan AI lebih mahal daripada karyawan
      2. Memang tim deep learning Nvidia menghabiskan lebih banyak biaya untuk AI daripada untuk karyawan, tetapi tujuan tim itu bukan coding bergaya agen, melainkan penggunaan AI yang dalam dan berat, jadi itu masuk akal
        Bagian yang mengatakan “dalam penagihan berbasis token, makin banyak digunakan dan makin efisien, makin mahal” juga aneh. Saya tidak paham kenapa biaya meningkat ketika efisiensi membaik
  • Judulnya tampak menyesatkan, dan alasannya jadi lebih jelas kalau membaca artikelnya. Perusahaan-perusahaan ini punya OKR dan target konyol untuk membakar token sebanyak mungkin
    Kalau penggunaan token dijadikan metrik, hasilnya tentu akan jadi sangat mahal
    Biaya inferensi sendiri masih pada tingkat yang bisa ditanggung, dan untuk memakai teknologi ini secara berguna juga tidak harus selalu memakai model proprietari terbaru. Insinyur manusia masih akan dibutuhkan cukup lama, tetapi saya tidak setuju bahwa “sebagian manusia + LLM” akan lebih mahal daripada sekadar mempekerjakan lebih banyak manusia, atau akan terus lebih mahal

    • Sebenarnya ini juga bisa dibilang begini: perusahaan menerapkan OKR di departemen TI agar menghabiskan lebih dari 1000 dolar per hari per developer. Perusahaan lalu terkejut karena biaya TI menjadi jauh lebih besar dari sebelumnya. Lalu mereka menaikkan lagi menjadi 1500 dolar per hari per developer sambil mengatakan akan membuat sistem untuk mencari tahu kenapa ini terjadi
      Saat ini, dibanding vibe coding, masalah yang lebih besar tampaknya adalah vibe leadership, dan vibe leadership pada dasarnya tidak terkait dengan AI. Ini adalah orang-orang yang berpegang pada satu firasat samar lalu mendorong kesimpulan yang tidak logis tanpa peduli biaya atau hasil
    • Kalau hanya melihat artikelnya, tampaknya mereka bukan meninggalkan “AI”, melainkan mengganti LLM dari Claude Code ke GitHub Copilot
    • Hukum Goodhart: saat sebuah metrik menjadi target, metrik itu berhenti menjadi metrik yang baik
    • Saya curiga angka pendapatan yang membuat investor bersemangat justru bertumpu pada dunia yang menjadikan token sebagai metrik itu. Tidak mungkin sebuah bisnis sekaligus tumbuh eksplosif namun pada saat yang sama harus membatasi pengeluaran lebih ketat agar memberi imbal hasil investasi
    • Media tampaknya seperti sudah bertekad membakar AI. Feed berita isinya hanya artikel tentang keburukan data center, ketidakbergunaan AI, dan bahwa semua orang membenci AI
  • Premis artikel ini salah. Microsoft membatalkan penggunaan internal Claude Code bukan karena biaya AI terlalu mahal, melainkan karena mereka punya produk pesaing, GitHub Copilot, dan ingin karyawannya memakai produk sendiri
    Alasan yang sama juga membuat Teams mendapat begitu banyak sorotan saat masa lockdown

    • Benar. Artikel itu mencampuradukkan tindakan Microsoft seolah masalah biaya, padahal sebenarnya bukan karena biaya. Lalu ditambah kutipan acak dari “wakil presiden deep learning terapan Nvidia” yang mengatakan bahwa di timnya biaya komputasi lebih besar daripada biaya tenaga kerja
      Tetapi tim itu bukan memakai LLM untuk pengembangan perangkat lunak; itu benar-benar tim deep learning, tim yang memang membakar komputasi dengan gaya pengembangan deep learning
      Sedikit hitung-hitungan saja sudah cukup untuk melihat bahwa Microsoft tidak mungkin membayar AI lebih banyak daripada developer. Ada sekitar 80 ribu karyawan di peran pengembangan produk, dan total biaya untuk developer senior mungkin sekitar 400 ribu dolar
      Apakah Microsoft punya tagihan Claude senilai 32 miliar dolar? Rasanya tidak
    • Keduanya bisa sama-sama benar. Claude bisa saja terlalu mahal, dan pada saat yang sama mereka juga ingin memindahkan karyawan ke Copilot. Karena itu produk mereka sendiri, biayanya bisa turun, dan sebagai hasilnya mereka bisa berharap penggunaan serta umpan balik meningkat
      Hanya saja saya kurang paham bagaimana contoh Teams saat lockdown paralel dengan argumen sebelumnya
  • Tidak ada bagian mana pun dalam artikel ini yang menyebut Microsoft melaporkan bahwa AI lebih mahal daripada pekerja manusia

    • Wah… ada apa dengan Fortune? Saya kira mereka media yang jauh lebih baik daripada clickbait seperti ini
    • Mungkin ada satu kata yang hilang dari judul postingannya. Seharusnya menjadi “Microsoft reports show AI is more expensive…”
      Meski Microsoft tidak mengatakannya secara eksplisit, fakta bahwa AI lebih mahal memang terlihat
  • Tren tokenmaxxing sepertinya salah satu gagasan paling bodoh yang muncul dari gelombang AI kali ini. Arahnya benar-benar berlawanan dengan maksimalisasi efisiensi dan produktivitas, tetapi tetap diterima luas

  • http://archive.today/l3EEo

  • Microsoft membatalkan Claude karena Copilot kurang bagus sehingga mereka harus memakai Copilot sendiri. Ini diakui secara internal dan bukan rahasia
    Saat ini token Anthropic sebelumnya disubsidi, jadi dari sudut pandang Microsoft kemungkinan justru menjadi lebih mahal

  • Untuk menganalisis biaya penggunaan AI, kita perlu melihat konteks penggunaannya
    Banyak orang memakai AI untuk merapikan dokumen, percakapan Slack, dan email, atau untuk membuat dokumen besar yang tidak perlu dari prompt pendek. Tidak ada alasan mengapa mengirim pesan Slack atau email di dalam perusahaan harus memerlukan AI. Ini hanya membuang sumber daya dan waktu demi membuat sesuatu tampak lebih meyakinkan tanpa banyak mengubah maknanya

    • Untuk penggunaan seperti itu, biayanya sebenarnya cukup rendah
  • Membakar token semudah melempar uang ke tungku
    Penggunaan token bukan metrik produktivitas yang baik. Masalahnya adalah belum ada yang benar-benar menemukan cara mengukur penggunaan AI yang produktif. Sulit membedakan apakah developer sedang memaksimalkan produktivitas, hanya membakar token, atau sedang menolak perubahan

    • Ini adalah metrik jumlah baris kode yang baru
  • AI tidak lebih mahal daripada membayar gaji karyawan manusia. AI masih belum bisa menggantikan karyawan manusia, jadi premis judulnya salah