Claude Opus 5, peringkat 1 di leaderboard kecerdasan Artificial Analysis

 (artificialanalysis.ai)
1 poin oleh GN⁺ 2 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Dari 170 model yang dievaluasi, Claude Opus 5 Adaptive Reasoning·Max Effort menempati peringkat 1 dengan skor Intelligence Index 61, disusul Xhigh Effort dan Claude Fable 5 yang masing-masing meraih 60 poin
  • Intelligence Index v4.1 menggabungkan 9 evaluasi yang mencakup tugas agen, coding, penalaran sains, keandalan pengetahuan, dan penalaran konteks panjang, serta turut memperhitungkan waktu berpikir yang diperluas pada model penalaran dalam pengukuran performa
  • Untuk kecepatan output, Mercury 2 adalah yang tercepat dengan 901.6 tokens/s, sementara latensi token pertama terendah dicatat Gemini 2.5 Flash-Lite dengan 0.34 detik, dan Llama 4 Scout menyediakan jendela konteks maksimum 10M token
  • Harga dibandingkan bukan hanya berdasarkan tarif token, tetapi juga biaya per tugas yang membobotkan token input, cache hit, cache write, penalaran, dan token jawaban; biaya cache write dan penyimpanan berbeda-beda menurut penyedia
  • Di antara model berbobot terbuka, GLM-5.2 (max) mencatat skor tertinggi dengan 51 poin, tetapi masih 10 poin di bawah peringkat 1 secara keseluruhan, sehingga pemilihan model perlu mempertimbangkan biaya, kecepatan, latensi, dan jendela konteks selain kecerdasan

Peringkat kecerdasan Claude Opus 5

  • Claude Opus 5 (Adaptive Reasoning, Max Effort) berada di peringkat 1 dari 170 model yang dievaluasi dengan skor Intelligence Index 61
  • 5 model teratas adalah sebagai berikut
    • Claude Opus 5 (Adaptive Reasoning, Max Effort): 61 poin
    • Claude Opus 5 (Adaptive Reasoning, Xhigh Effort): 60 poin
    • Claude Fable 5 (Adaptive Reasoning, Max Effort, Opus 4.8 Fallback): 60 poin
    • GPT-5.6 Sol (max): 59 poin
    • Claude Opus 5 (Adaptive Reasoning, High Effort): 59 poin
  • Konfigurasi Max Effort juga menempati peringkat 1 di antara 126 model penalaran, dan model penalaran melakukan extended thinking untuk menangani masalah kompleks sebelum memberikan jawaban

Komposisi evaluasi Intelligence Index v4.1

  • Intelligence Index v4.1 menggabungkan 9 evaluasi berikut
    • GDPval-AA v2: pekerjaan nyata berbasis agen
    • 𝜏³-Banking: penggunaan alat oleh agen
    • Terminal-Bench v2.1: coding agen dan penggunaan terminal
    • SciCode: coding
    • Humanity's Last Exam: penalaran dan pengetahuan
    • GPQA Diamond: penalaran ilmiah
    • CritPt: penalaran fisika
    • AA-Omniscience: akurasi pengetahuan dan tingkat non-halusinasi
    • AA-LCR: penalaran konteks panjang
  • Bergantung pada penggunaannya, hasil evaluasi tertentu bisa lebih penting daripada skor kecerdasan gabungan
  • Benchmark berikut juga termasuk dalam item evaluasi terpisah
    • AA-Briefcase: pekerjaan pengetahuan agen
    • AutomationBench-AA: workflow SaaS agen
    • Harvey LAB-AA: pekerjaan agen hukum
    • EnterpriseOps-Gym-AA: operasi bisnis agen
    • IFBench: kepatuhan terhadap instruksi
    • APEX-Agents-AA: tugas agen jangka panjang
    • ITBench-AA: analisis akar penyebab insiden Kubernetes
    • MMMU-Pro: penalaran visual

Metrik pekerjaan pengetahuan, keandalan, dan keterbukaan

  • AA-Briefcase Elo menggabungkan Elo kualitas analisis, Elo presentasi, dan tingkat kelulusan terhadap kriteria evaluasi
    • Tingkat kelulusan dikonversi ke Elo melalui pertarungan head-to-head sintetis
    • Elo dan batas interval kepercayaan 95% dibatasi agar tidak turun di bawah 0
  • AA-Omniscience Index mengukur keandalan pengetahuan dan halusinasi pada skala -100 hingga 100
    • Jawaban benar diberi imbalan dan halusinasi diberi penalti, tetapi penolakan menjawab tidak dikenai penalti
    • Skor 0 berarti jumlah jawaban benar dan salah sama, sedangkan nilai negatif berarti jawaban salah lebih banyak daripada jawaban benar
  • Openness Index menilai keterbukaan model dengan skor ternormalisasi 0–100; semakin tinggi, semakin terbuka
  • Status keterbukaan bobot dibedakan, dan model yang bobotnya terbuka tetapi memerlukan lisensi berbayar untuk penggunaan komersial ditandai sebagai Commercial Use Restricted

Peringkat model berbobot terbuka

  • Dari 170 model yang dievaluasi, 94 model adalah model berbobot terbuka
  • Peringkat atas Intelligence Index untuk model berbobot terbuka adalah sebagai berikut
    • GLM-5.2 (max): 51 poin
    • MiniMax-M3: 44 poin
    • DeepSeek V4 Pro (Reasoning, Max Effort): 44 poin
  • GLM-5.2 (max) mencatat skor tertinggi di antara model berbobot terbuka

Kecepatan output dan waktu pemrosesan tugas

  • Mercury 2 memiliki kecepatan output tertinggi dengan 901.6 tokens/s
    • Gemini 3.5 Flash-Lite: 435.1 tokens/s
    • HyperNova 60B 2605: 427.6 tokens/s
    • Granite 4.0 H Small juga masuk kelompok teratas
  • Kecepatan output adalah jumlah token per detik yang diterima saat model menghasilkan token setelah menerima chunk pertama pada model streaming
  • Waktu per tugas dalam Intelligence Index dihitung dengan membagi jumlah token output per tugas dengan kecepatan output lalu menerapkan bobot relatif tiap benchmark
    • Waktu token pertama tiba (TTFT) dan overhead lainnya tidak dihitung
  • Jika ada API milik sendiri, performa API tersebut yang digunakan; jika tidak ada seperti pada Meta Llama, digunakan median dari beberapa penyedia

Latensi dan waktu respons end-to-end

  • Model dengan waktu kedatangan token jawaban pertama tercepat adalah Gemini 2.5 Flash-Lite (Non-reasoning), yaitu 0.34 detik
    • Command A+: 0.42 detik
    • North Mini Code: 0.49 detik
    • Gemini 2.5 Flash juga termasuk model dengan latensi rendah
  • Latensi token pertama adalah waktu dari permintaan API hingga token jawaban pertama diterima
    • Pada model penalaran, ini juga mencakup waktu berpikir sebelum jawaban
    • Untuk model yang tidak mendukung streaming, waktu menerima seluruh respons yang digunakan
  • Waktu respons end-to-end 500 token merupakan penjumlahan dari elemen-elemen berikut
    • waktu input hingga token respons pertama diterima
    • waktu berpikir yang digunakan model penalaran sebelum menjawab
    • waktu untuk menghasilkan 500 token jawaban berdasarkan kecepatan output
  • Jumlah token berpikir menggunakan rata-rata yang diukur dari 60 prompt yang berbeda

Harga dan biaya per tugas

  • Perbandingan harga menggunakan tarif dolar per 1 juta token untuk cache hit, input, dan token output
  • Dalam daftar, Devstral 2 dan North Mini Code ditampilkan sebagai $0.00 per 1 juta token, diikuti Gemma 3 4B dan Gemma 3 27B
  • Model termurah berdasarkan tarif campuran adalah sebagai berikut
    • Nova Micro: $0.03/1M tokens
    • Sarvam 30B (high): $0.03/1M tokens
    • Gemma 4 E4B (Non-reasoning): $0.03/1M tokens
  • Biaya per tugas Intelligence Index dihitung dengan membagi harga token input, cache hit, cache write, penalaran, dan jawaban dari tiap evaluasi dengan jumlah tugas, lalu menerapkan bobot evaluasi dalam Index
  • Biaya menjalankan seluruh Index dihitung dari penggunaan token per evaluasi, tidak termasuk eksekusi berulang, serta harga tiap jenis token
  • Harga campuran cache yang ditampilkan hanya menggunakan biaya cache hit; biaya cache lainnya berbeda menurut penyedia
    • Anthropic mengenakan biaya cache write secara terpisah, dengan tarif berbeda untuk TTL 5 menit dan 1 jam, dan 1 jam lebih mahal
    • Google Vertex/Gemini mengenakan biaya penyimpanan per jam selain harga cache hit
    • Beberapa penyedia menerapkan harga bertingkat untuk prompt yang melebihi 200K token
    • OpenAI dan DeepSeek umumnya hanya mengenakan harga cache hit tanpa biaya write atau penyimpanan

Penggunaan token dan jendela konteks

  • Jumlah token output per tugas dihitung dengan mengalikan token output tiap evaluasi dengan bobot relatifnya dalam Intelligence Index, lalu membaginya dengan jumlah tugas tanpa eksekusi berulang
  • Model dengan jendela konteks terbesar adalah sebagai berikut
    • Llama 4 Scout: 10M token
    • Grok 4.20 0309: 2M token
    • Gemini 1.5 Pro (May)
    • Grok 4.1 Fast
  • Jendela konteks adalah batas maksimum gabungan token input dan output; batas token output umumnya jauh lebih kecil dan berbeda antar model
  • Jendela konteks besar berkaitan dengan workflow RAG untuk mengambil dan menalar informasi dari data dalam jumlah besar

Ukuran model berbobot terbuka

  • Ukuran model dibedakan menjadi total parameter yang mencakup bobot dan bias yang dapat dilatih, serta parameter aktif yang benar-benar dijalankan saat inferensi
  • Pada model Mixture of Experts, mekanisme routing hanya memilih sebagian ahli untuk tiap token sehingga parameter aktif lebih sedikit daripada total parameter
  • Pada model dense, semua parameter digunakan sehingga parameter aktif dan total parameter sama

Cakupan perbandingan dan cara memanfaatkannya

  • Model dibandingkan di berbagai dimensi seperti kecerdasan, harga, kecepatan output, latensi token pertama, waktu respons end-to-end, dan ukuran jendela konteks
  • Metrik performa diukur secara langsung terhadap 586 model menggunakan prompt yang distandardisasi
  • Di halaman detail masing-masing model, pengguna dapat melihat metrik rinci dan perbandingan langsung dengan model serupa, serta menyesuaikan model yang ditampilkan pada grafik melalui pemilih model

Bacaan terkait

1 komentar

 
GN⁺ 2 jam lalu
Pendapat di Hacker News

  • Papan peringkat ini pada dasarnya sudah tidak bermakna bagi pengguna akhir untuk menentukan model mana yang harus dipakai dan kapan
    Karena tiap model punya kekuatan dan kelemahan berbeda di bidang dan tugas tertentu, peringkat dengan satu metrik tidak berguna; kini tidak ada lagi satu ‘model terbaik’, dan tergantung kompleksitas tugas, model terbaik pun mungkin tidak diperlukan
    Misalnya, untuk desain UI bisa memakai Fable, untuk desain sistem backend Sol, untuk pengembangan kerentanan Kimi K3, dan metrik seperti ini pada akhirnya lebih mirip angka pamer perusahaan model

    • Setahun lalu, ada ‘model terbaik’ baru yang keluar, jadi dengan antusias saya menyuruhnya mengerjakan tugas pemrograman sederhana berupa perubahan kecil pada 3 file, dan hasilnya bagus
      Namun model yang lebih lama dan lebih kecil dari keluarga yang sama juga mengerjakannya dengan baik, sambil 3 kali lebih cepat dan biayanya sepersembilan, dan saat itu saya mendapat pencerahan
    • Akan bagus kalau ada benchmark per tech stack
      Misalnya model apa yang paling baik menangani proyek Elixir/Phoenix pada 2026 dengan cara paling idiomatis; meski agak subjektif, ini bisa berguna dalam situasi ketika sulit terus membandingkan semua model sendiri dan perbedaan kinerjanya besar
    • Ungkapan seperti ‘sepenuhnya tidak bermakna’ atau ‘satu-satunya tujuan’ itu berlebihan
      Semua statistik punya distorsi, tetapi tetap lebih baik daripada tidak tahu apa-apa, dan fakta bahwa benchmark menunjukkan rata-rata dari berbagai tugas berarti statistik memang pada dasarnya dibuat untuk merangkum
    • Kalau membuka tautannya, sebenarnya bukan hanya ada satu metrik; semua metrik yang dibutuhkan untuk menilai memang disediakan
    • Grafik seperti biaya per tugas atau frekuensi halusinasi dari Artificial Analysis punya nilai
      Namun jika semua itu digabung menjadi satu hasil, semua nuansa hilang dan yang tersisa hanya peringkat untuk pamer

  • Kalau saya eksekutif Google, rasanya saya harus tidur di kantor bukan hanya karena banyak pekerjaan, tetapi juga karena malu terlihat di depan orang-orang

    • Justru mereka bisa tidur nyenyak karena satu-satunya pemain yang tidak merugi sambil membakar subsidi
    • Google tampaknya lebih mementingkan kecepatan monetisasi di semua produk daripada AI yang paling cerdas
      Sejak lama mereka menyatakan bahwa prioritas utama adalah memberikan jawaban akurat atas pertanyaan secepat mungkin
    • Saya juga ragu apakah Google memang ingin bersaing dengan model yang memaksimalkan kecerdasan seperti OpenAI atau Anthropic
      Di antara ketiganya, Google terlihat seperti satu-satunya perusahaan yang tidak memuja AGI sambil menjalani asketisme
    • Di benchmark GPQA Diamond, mereka berada di posisi pertama bersama: https://artificialanalysis.ai/evaluations/gpqa-diamond
      Mungkin hanya ini target mereka
    • Model Gemini juga memimpin atau berada di jajaran teratas dalam berbagai kategori, jadi kesimpulan bahwa mereka tertinggal sampai memalukan tampaknya tidak tepat

  • Di jajaran teratas indeks kecerdasan ada Claude Opus 5 Max 61 poin, Opus 5 Xhigh 60 poin, kombinasi model pengganti Claude Fable 5 Max dan Opus 4.8 60 poin, GPT-5.6 Sol Max 59 poin, serta Opus 5 High 59 poin
    Jadi Opus 5 Xhigh lebih tinggi daripada Sol Max, dan Opus 5 High sama dengan Sol Max, sehingga saya penasaran dengan perbedaan harga dan kecepatan kedua model

    • Dalam grafik biaya dan waktu terhadap kecerdasan per tugas dari Artificial Analysis, biaya dan waktu Opus 5 High dan Sol Max kurang lebih mirip
      Di DeepSwe, Opus 5 mengalahkan Fable tetapi kalah dari Sol, sementara di FrontierCode ia mendominasi semuanya lalu anjlok ke level Sonnet ketika upaya penalaran dinaikkan di atas Medium
    • Opus 5 tidak secerdas Sol Max dan dalam beberapa tugas bahkan terlihat lebih buruk daripada Opus 4.8
      Terutama, pendekatannya dangkal sehingga harus diajari seluruh aplikasi atau framework, dan ia memulai dari pekerjaan bodoh seperti menambahkan lagi fitur yang sebenarnya sudah didukung dalam bentuk lain

  • Di antara komponennya, AA-Omniscience Index menarik
    Indeks ini mengukur keandalan pengetahuan dan halusinasi, memberi imbalan untuk jawaban benar dan mengurangi skor untuk halusinasi tetapi tidak mengurangi skor untuk penolakan menjawab; tampaknya seperti indikator yang secara kasar menunjukkan skala atau kepadatan parameter
    Urutannya adalah kombinasi model pengganti Claude Fable 5, Gemini 3.1 Pro Preview, Claude Opus 5 Max, Grok 4.6 High, Gemini 3.6 Flash, GPT-5.6 Sol Max; sejak lama, Gemini 3.x memang terasa punya nuansa khas model besar

    • Gemini 3.1 Pro sangat unggul untuk tugas pengetahuan, dan Google berhasil melakukannya dengan baik di bagian ini
      Analisis gambar Gemini 3.6 Flash juga solid, tetapi kurang untuk coding atau tugas agen
    • Melihat 3.6 Flash mendapat 24 poin, lebih tinggi dari Sol yang 22 poin, sulit memastikan apakah ini indikator proksi untuk skala parameter
      3.x Flash diketahui muat dalam satu TPU 8i dan kecepatan pemrosesannya 234,7 token/detik, jauh mengungguli Sol 64,4 dan Opus 56,3; 3.1 Pro juga jauh lebih cepat dengan 113,9 token/detik
      AA-Omniscience Accuracy lebih sesuai dugaan: Fable yang sangat besar memimpin dengan 61%, diikuti model frontier besar seperti Sol, GPT-5.5, dan Opus
      Gemini tampaknya berfokus pada pengetahuan umum dan efisiensi biaya operasional daripada skor coding tertinggi, dan dalam skor per bidang yang dinormalisasi, hanya software yang daya saingnya lemah
    • Jika penolakan menjawab tidak mengurangi skor, metrik ini tidak terlalu berguna
    • Pengaruh grounding bisa sama besar atau lebih besar daripada ukuran model, dan Google sangat bagus dalam hal ini karena alasan yang jelas

  • Sebelum berekspektasi, perlu melihat matriks biaya terhadap kecerdasan: https://artificialanalysis.ai/models?intelligence-index-toke...

    • Jika mempertimbangkan kualitas hasil juga, mengejutkan bahwa GPT-5.6 Sol Max lebih murah daripada semuanya
    • Max memiliki jumlah penalaran tambahan yang sangat besar, jadi saya penasaran berapa banyak tugas yang gagal diselesaikan di High
      Biayanya tampaknya akan turun cukup banyak

  • Saya jadi melihat Meta Muse Spark dengan cara baru
    Ia bukan yang terbaik dalam satu hal tertentu, tetapi berada di titik yang pas di berbagai bagian papan peringkat, dengan keseimbangan biaya dan performa yang baik
    Saya juga penasaran di mana posisi Poolside Laguna S yang tidak ada dalam daftar, dan secara pribadi saya sangat tertarik pada model yang bekerja dengan baik sekaligus hemat biaya

  • Meski unggul tipis di posisi pertama, jika harus berhati-hati agar ‘pengaman’ yang berarti penyensoran tidak menolak jawaban atau menurunkan ke model lain, kegunaannya turun drastis
    Karena itu, selain sebagian alur kerja lama, saya hampir berhenti memakai Claude, dan keandalan lebih penting daripada selisih skor 61 dan 57
    Jika mempertimbangkan penyensoran serta verifikasi identitas yang belum saya alami sendiri, Claude adalah model yang paling rusak dan tidak stabil, dan optimasi benchmark kecil pada versi terbaru tidak sepadan

    • Saya penasaran pertanyaan seperti apa yang membuat Anda begitu sering terkena penyensoran
    • Dari pengalaman saya langsung, ini sama sekali bukan model yang hanya mengejar benchmark
      Saya menerapkan uji pembuatan game pada semua model, dan Opus 5 terasa seperti lompatan setingkat pergantian generasi; benchmark tidak menunjukkan gambaran yang akurat, jadi harus diuji sendiri
    • Setiap kali melihat kabar online bahwa limit atau modelnya membaik dan mempertimbangkan kembali prinsip saya untuk tidak pernah membayar Anthropic, saya memeriksa model card dan justru makin yakin
      Saya tidak mengerti mengapa Anthropic begitu terobsesi pada penurunan otomatis dan senyap, dan saya ragu apakah ada satu pun pengguna yang ingin performanya otomatis diturunkan alih-alih mendapat penolakan jawaban
    • Saat saya meminta Claude Opus 5.0 menerapkan web app di PaaS lingkungan pengujian dengan API key global dan mengambil data, ia menolak dengan alasan masalah keamanan karena cakupan izinnya luas
      Tugas yang sama ditangani tanpa masalah oleh Opus 4.5~4.8 serta Fable, Codex 5.4·5.5, dan Sol 5.6
      Opus 5 terlalu berhati-hati sehingga sulit dipakai secara produktif dan perlu penyesuaian tambahan
    • Mungkin karena tidak melakukan hal yang bermakna; Terence Tao tidak mengeluh soal ‘model AI yang woke’

  • Saya suka Opus 5 karena tidak menjelaskan ulang semuanya seperti 4.8
    GPT-5.6 Sol bernalar terlalu dalam bahkan untuk hal sepele, sedangkan Opus 5 adalah model yang hebat dan Anthropic sudah melakukan pekerjaan bagus

    • Saat saya memberi Sol spesifikasi implementasi, ia menanganinya dengan sangat baik sehingga saya tidak menyadari perbedaan ini
      Ketika saya memintanya mengerjakan sendiri tanpa spesifikasi, ia menghabiskan 30% kuota mingguan selama 2 jam 30 menit; tetapi jika diberi spesifikasi, ia hanya memakai 2% selama 30 menit, dan hasilnya juga lebih baik dalam hal struktur, panjang, verifikasi, cakupan, dan biaya
      Jika Sol dibiarkan begitu saja, ia lepas kendali, jadi sekarang saya membuat Sol menulis spesifikasi dan Terra mengimplementasikan; cara ini berjalan baik dan total penggunaan juga turun

  • Hasil yang lebih menarik adalah fakta bahwa Opus 5 adalah model yang jauh lebih mahal, kedua setelah Fable 5
    GPT-5.6 dan Kimi K3 mencetak skor serupa dengan selisih 1–2% dengan biaya setengahnya

    • Grafik didasarkan pada upaya penalaran Max, yang terutama dipakai pengguna perusahaan yang tidak terlalu sensitif terhadap harga
      Pada Medium, biayanya turun hingga hampir setengah dari K3, dan kemungkinan cukup untuk 95% pekerjaan coding sangat besar

  • Saya tidak memihak, tetapi dari hasil ini GPT-5.6 Sol Max tampak lebih baik
    Performanya hampir sama dengan biaya sekitar setengahnya, dan melihat Opus 5 juga semahal ini dibanding GPT-5.6 menunjukkan betapa tingginya harga Fable

    • Untuk perbandingan yang tepat, harus membandingkan Opus High dan Sol Max