4 poin oleh GN⁺ 2024-12-08 | 1 komentar | Bagikan ke WhatsApp
  • Countless.dev adalah situs web yang bertujuan membandingkan harga dan fitur model AI dari berbagai penyedia dalam satu tabel, sehingga batas token dan tarif satuan yang diperlukan untuk memilih model bisa dilihat dengan cepat
  • Daftar tersebut menampilkan model dari penyedia seperti OpenAI, Anthropic, Google, Qwen, DeepSeek, dan Mistral, serta memperlihatkan bersama angka yang tampak seperti panjang konteks dan batas output
  • Keluarga model komersial dan open model seperti GPT-5.x, Claude Opus/Sonnet/Haiku, Gemini 2.5/3.x, Qwen3.x, DeepSeek V3/R1, Mistral, Llama, dan Nemotron bercampur dalam satu layar
  • Beberapa item ditandai (free) sehingga kolom harganya kosong, dan router seperti Auto Router, Free Models Router, Pareto Code Router, serta Switchpoint Router juga diperlakukan sebagai entri terpisah
  • Model terbaru, lama, preview, image, audio, coding, dan research dari tiap penyedia bisa dibandingkan, tetapi dari isi yang diberikan saja belum bisa dipastikan definisi kolom tabel atau cara perhitungan harganya

Tabel perbandingan harga dan fitur model AI

  • Countless.dev pada judulnya menyatakan diri sebagai pembanding harga dan fitur LLM
  • Pada judul Hacker News, situs ini diperkenalkan sebagai situs web yang membandingkan bukan hanya LLM tetapi juga TTS dan STT
  • Isi yang diberikan berbentuk daftar model panjang, dan tiap baris umumnya memuat informasi berikut
    • nama penyedia atau router
    • nama model
    • angka token yang ditampilkan bersama penanda T
    • dua nilai harga dalam dolar atau kolom harga kosong
    • penanda model gratis dengan label (free)

Keluarga model yang bercampur menurut penyedia

  • Entri OpenAI mencakup GPT-5.5, GPT-5.4, GPT-5.3, GPT-5.2, GPT-5.1, GPT-5, GPT-4.1, GPT-4o, GPT-4 Turbo, dan GPT-3.5 Turbo
    • Model Pro berharga tinggi seperti GPT-5 Pro, GPT-5.4 Pro, dan GPT-5.5 Pro juga tercantum sebagai entri terpisah
    • Model audio dan image seperti GPT Audio, GPT Audio Mini, GPT-5 Image, dan GPT-5 Image Mini juga terlihat
    • Keluarga o1, o3, o4 Mini, dan Deep Research juga disertakan
  • Entri Anthropic terdiri dari keluarga Claude Opus, Sonnet, Haiku, dan Fable
    • Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Opus 4.5, Claude Opus 4.1, dan Claude Opus 4 ditampilkan
    • Claude Sonnet 5, Sonnet 4.6, Sonnet 4.5, Sonnet 4, Claude Haiku Latest, dan Claude Haiku 4.5 juga termasuk
  • Entri Google memuat keluarga Gemini, Gemma, Nano Banana, dan Lyria
    • Gemini 3 Flash Preview, Gemini 3.5 Flash, Gemini 3.1 Pro Preview, Gemini 2.5 Pro, dan Gemini 2.5 Flash tercantum
    • Entri model image seperti Nano Banana Pro, Nano Banana 2, dan Nano Banana Lite juga disertakan
  • Model dari penyedia lain seperti Qwen, DeepSeek, Mistral, Meta, NVIDIA, MoonshotAI, MiniMax, dan Z.ai juga bisa dibandingkan dalam daftar yang sama

Penandaan harga dan model gratis

  • Entri yang memiliki harga menampilkan dua tarif satuan dalam dolar
    • Anthropic Claude Opus 4.8: $5, $25
    • OpenAI GPT-5.5: $5, $30
    • Google Gemini 2.5 Pro: $1.25, $10
    • OpenAI o1-pro: $150, $600
  • Entri yang diberi label (free) memiliki kolom harga kosong dengan
    • NVIDIA Nemotron 3 Ultra (free)
    • Poolside Laguna M.1 (free)
    • Cohere North Mini Code (free)
    • Google Gemma 4 26B A4B (free)
    • OpenAI gpt-oss-120b (free)
    • Meta Llama 3.3 70B Instruct (free)
  • Beberapa model memiliki versi gratis dan berbayar sebagai baris terpisah
    • Poolside Laguna XS.2
    • Poolside Laguna M.1
    • NVIDIA Nemotron 3 Super
    • Google Gemma 4 26B A4B
    • OpenAI gpt-oss-120b
    • OpenAI gpt-oss-20b

Batas model dilihat dari angka token

  • Banyak model menampilkan angka besar di kisaran 1 juta token
    • OpenAI GPT-5.5, GPT-5.4, GPT Latest: 1,050,000
    • Anthropic Claude Opus 4.8, Claude Opus 4.7, Claude Sonnet 5: 1,000,000
    • Google Gemini 3 Flash Preview, Gemini 3.1 Flash Lite, Gemini 2.5 Pro: 1,048,576
    • DeepSeek V4 Pro, DeepSeek V4 Flash: 1,048,576 atau 1,048,575
  • Angka token kedua yang tampak seperti batas output juga berbeda menurut model
    • OpenAI GPT-5.5: 128,000
    • Anthropic Claude Opus 4.8: 128,000
    • MoonshotAI Kimi K2.6: 262,144
    • MiniMax MiniMax-01: 1,000,192
  • Beberapa baris memiliki angka kedua atau harga yang kosong dengan , sehingga tidak semua model menyediakan tingkat informasi yang sama

Router dan model tujuan khusus

  • Selain model umum, entri Router juga dimasukkan seolah sebagai model tersendiri
    • OpenRouter Fusion
    • Pareto Code Router
    • Free Models Router
    • Switchpoint Router
    • Auto Router
  • Model dengan tujuan tertentu seperti keamanan, riset, pencarian, dan penerapan kode juga masuk dalam daftar
    • NVIDIA Nemotron 3.5 Content Safety
    • Meta Llama Guard 4 12B
    • OpenAI o3 Deep Research
    • Perplexity Sonar Deep Research
    • Relace Search
    • Relace Apply 3
  • Dari isi yang diberikan saja, sulit memastikan detail seperti cara pemilihan tiap router atau model khusus, benchmark, API yang didukung, maupun siklus pembaruannya

1 komentar

 
GN⁺ 2024-12-08
Pendapat di Hacker News
  • OP, apakah Anda mungkin terinspirasi oleh alat perbandingan LLM ini?
    https://whatllm.vercel.app
    Tabelnya cukup mirip, tetapi menambahkan kalkulator langsung di sini adalah poin yang bagus.
    Untuk Versus Comparison, akan bagus jika ada fitur yang menyorot sekilas nilai tertinggi dari tiap LLM saat kotak centang ditekan.

  • Saya suka arahnya yang memperbanyak perbandingan model. Saya penasaran apakah ada rencana menambahkan analisis independen untuk model-model ini, atau hanya mengumpulkan informasi seperti batas input.
    Menurut Anda, apa pembeda atau nilai tambahnya dibanding analisis lain seperti di bawah ini?
    https://artificialanalysis.ai
    https://huggingface.co/spaces/TTS-AGI/TTS-Arena
    https://huggingface.co/spaces/hf-audio/open_asr_leaderboard
    https://huggingface.co/spaces/TIGER-Lab/GenAI-Arena
    Pekerjaan agregasinya bagus, dan situs webnya juga enak dijelajahi.

    • Saya membuat https://aimodelreview.com/ agar bisa membandingkan output LLM untuk berbagai prompt dan kategori, serta melihatnya berdampingan.
      Setiap prompt dijalankan 4 kali dengan nilai temperature berbeda, dan bisa dilihat melalui toggle.
      Saya juga sempat ingin menambahkan review untuk tiap model, tetapi sudah kehabisan tenaga. Meski begitu, saya pernah menerima pesan bahwa perbandingan ini tetap membantu untuk mendapatkan gambaran bagaimana model-model menjawab prompt yang sama secara berbeda, dan bagaimana temperature memengaruhi output dari model yang sama.
    • Secara pribadi saya merasa Gradio UI jelek, jadi saya memakai shadcn dan Next.js agar situs webnya terlihat bagus.
      Saya berusaha membuatnya seramah mungkin bagi pengguna. Kebanyakan situs web terlihat jelek atau terlalu teknis.
    • Bayangkan melangkah satu tahap lebih jauh: benar-benar menjalankan prompt yang sama pada semua model AI, lalu menampilkan jawaban terbaik beserta model yang menghasilkannya.
  • Bagus! Akan menarik jika bisa melihat nilai performa terhadap harga.
    Saya butuh cara untuk mengetahui model termurah yang bisa dipakai saat membuat data terstruktur secara andal dari teks tidak terstruktur.
    Saat ini saya memakai gpt4o-mini yang murah, tetapi saya tidak tahu apakah model yang lebih murah juga bisa melakukan pekerjaan yang sama.

    • Coba lihat Gemini Flash 1.5. Saya perlu mengubah video menjadi catatan terstruktur dan hasilnya memuaskan; anehnya, hasilnya lebih baik daripada Gemini 1.5 Pro.
      https://jampauchoa.substack.com/i/151329856/ai-studio
      Berdasarkan situs web ini, biayanya setengah dari gpt4-o mini. Per 1 juta token, 0.15 vs 0.07.
    • Saya belum menemukan model yang secakap itu di kisaran harga GPT-4o mini. Melihat ekspektasi terhadap Llama 3.3 70B, mungkin model itu kandidatnya.
      Di Deepinfra, token input lebih mahal tetapi token output lebih murah, jadi menurut saya harganya hampir sama.
      Namun, performa terhadap harga terbaik cukup subjektif. Sebagian orang hanya perlu satu use case berjalan baik, sementara yang lain mungkin ingin performa bagus di cakupan yang lebih luas.
    • Saat membandingkan banyak model, saya selalu merekomendasikan openrouter.ai. Itu tempat yang biasa saya pakai untuk pekerjaan serba-serbi.
      Saya tidak berafiliasi, hanya pengguna.
  • Saya ingin berbagi sudut pandang pribadi sekaligus keluh kesah tentang AI. Seperti banyak orang, saya juga sangat antusias dengan arus AI saat ini.
    Karena ini adalah garis depan inovasi, dorongan untuk terjun ke bidang ini dan berkontribusi memang wajar.
    Namun saya melihat momen ini mirip pasar keuangan yang sedang terlalu panas. Salah satu nasihat yang sering terdengar saat pasar sangat volatil adalah menunggu dan mengamati.
    Di AI pun, talenta dan organisasi hebat sedang berlari untuk menciptakan inovasi terobosan. Besar kemungkinan hal yang saya bayangkan sebagai proyek besar berikutnya sudah sedang dikerjakan di suatu tempat, atau akan segera muncul.
    Jadi strategi menunggu dan mengamati bisa saja efektif di luar dugaan. Alih-alih terburu-buru, tunggu sampai situasinya mereda, amati arusnya, lalu manfaatkan hal-hal baru yang muncul.
    Dalam arti tertentu, seluruh ekosistem AI sedang membangun fondasi bagi ide besar saya berikutnya.
    Bukan berarti Anda tidak boleh mengintegrasikan teknologi terbaru ke produk dan layanan yang sudah berjalan.

    • Usulnya cukup masuk akal. Banyak perusahaan mungkin sudah mengintegrasikan model mutakhir ke produk mereka.
      Namun tidak ada makan siang gratis. Dengan cara ini, Anda akan bergerak secara reaktif, bukan proaktif.
      Risikonya berkurang, tetapi Anda juga kehilangan kesempatan memiliki andil di sedikit tempat yang akan bertahan dan menjadi sangat bernilai.
      Jika terus seperti ini untuk waktu lama, pada akhirnya Anda tidak lagi memahami apa yang dibicarakan orang-orang di bidang itu. Kalau ingin menangkap maksud saya, tonton episode terbaru Dwarkesh Patel.
      Di sini, andil dimaknai secara luas, seperti saham perusahaan atau pengetahuan sebagai peneliti AI.
  • Ini sedikit keluar dari topik, tapi apakah ada klien desktop yang lebih baik daripada klien bawaan ChatGPT?
    Saya merasa fitur pengelolaan chat-nya terlalu sederhana, tetapi ada sekitar belasan aplikasi sehingga sulit dievaluasi. Kebanyakan terlihat seperti bungkus yang mengarahkan ke layanan API suatu perusahaan
    Ada yang layak direkomendasikan? Akan bagus jika kompatibel dengan macOS/Linux

    • Ada Telosnex. Berjalan native di semua platform, dan ada versi web juga
      Mendukung Anthropic, OpenAI, Mistral, Groq, Gemini, serta LLM lokal dari praktis semua platform
      Anda bisa membawa API key sendiri, dan fitur pencariannya juga paling bagus. Skemanya bayar sesuai pemakaian, dan jika membayar 10 dolar per bulan, semuanya disediakan dengan harga pokok. Atau bisa gratis
      Semua data disimpan sebagai JSON sederhana
    • Ada https://www.typingmind.com/. Hanya lokal, tanpa server, dan dibuat oleh developer indie
    • Saya cukup puas memakai Machato: https://untimelyunicorn.gumroad.com/l/machato
  • Model transkripsi suara cuma ada dua. Biasanya memang seperti ini?
    Saya penasaran apakah tidak ada model open source seperti Llama untuk transkripsi, atau dataset situs ini yang kecil

    • Sepertinya situs ini tidak mencantumkan semua model yang ada di Hugging Face, civit.ai, dan lainnya, melainkan hanya model hosted dari penyedia utama
      Jika melihat daftar generasi gambar dan chat pun, di Hugging Face ada jauh lebih banyak model yang tidak ada di sini
      Lihat https://huggingface.co/models?pipeline_tag=automatic-speech-...
      Sebagai catatan, model sintesis suara dan transkripsi suara/pengenalan suara otomatis dapat dilatih dengan data yang sama. Namun saat ini struktur modelnya berbeda, jadi harus dilatih secara terpisah
      Salah satu kesulitannya adalah waktu pelatihan. Datanya bisa membesar hingga ratusan jam audio
    • Modelnya memang sangat banyak dan mencakup berbagai use case. Misalnya on-device, streaming/latensi rendah, model untuk bahasa tertentu, dan sebagainya
      Orang-orang mengira OpenAI menciptakan transkripsi suara dengan Whisper pada 2022, tetapi model lain sudah ada selama puluhan tahun dan telah dipakai di lingkungan produksi nyata
      Di situs web itu hanya ada Whisper
  • UI dan tata letak tabelnya bagus. Pernah mempertimbangkan untuk menampilkan kebutuhan VRAM per model?

  • Akan bagus jika informasi peringkat lmarena juga ditampilkan agar bisa membandingkan performa dan biaya

  • Materi yang bagus. Bagi orang yang tidak tahu semua nama versi turunannya, ini hampir terlalu komprehensif
    Akan bagus jika ada kolom skor papan peringkat lmarena. Ada beberapa harga yang muncul sebagai 0.00; apa alasannya?
    Akan bagus juga jika setiap baris memiliki tautan ke halaman yang lebih detail

    • Terima kasih! Beberapa model muncul sebagai N/A atau 0.00; sepertinya itu terjadi pada model gratis atau model yang tidak tersedia
      llmarena pasti akan saya tambahkan. Banyak orang lain juga merekomendasikannya
      Seiring waktu, saya akan membuat situs web ini lebih deskriptif dan lebih detail
    • Akan bagus juga jika ada tautan ke halaman perusahaan tempat kita bisa memakai atau berlangganan model tersebut