Show HN: Countless.dev – situs web untuk membandingkan semua model AI: LLMs, TTSs, STTs

Pengenalan perbandingan model AI

• Perbandingan model AI: Proyek open source untuk membandingkan berbagai model AI dengan mudah. Tersedia gratis, dan memungkinkan perbandingan panjang input dan output, harga, serta lainnya untuk setiap model.

Perbandingan harga

• Harga per model: Mencakup model dari berbagai penyedia seperti OpenAI, Azure, Anthropic, Google, dan lainnya, dengan harga yang dicantumkan berdasarkan panjang input dan output masing-masing model.

Perbandingan fitur model

• Fitur yang didukung: Fitur yang didukung model mencakup Vision, Chat, Embedding, Image generation, Completion, Audio transcription, TTS, dan lainnya.

Model utama dan harganya

• OpenAI: Tersedia berbagai model seperti gpt-4, gpt-3.5-turbo, dan lainnya, dengan variasi panjang input/output dan harga.
• Azure: Tersedia berbagai model seperti gpt-4o, gpt-4-turbo, dan lainnya, dan beberapa model mendukung fitur Vision.
• Anthropic: Tersedia model seri Claude yang mendukung berbagai panjang input dan output.
• Google: Tersedia berbagai model seperti Gemini, Chat-bison, dan lainnya, dan beberapa model mendukung fitur Vision.

Hal yang perlu dipertimbangkan saat memilih model

• Harga: Perlu mempertimbangkan harga berdasarkan panjang input dan output model.
• Dukungan fitur: Pilih model yang mendukung fitur yang dibutuhkan.
• Penyedia: Dapat memilih dari berbagai penyedia seperti OpenAI, Azure, Anthropic, dan Google.

[GN⁺]

Opini Hacker News

• Ingin tahu apakah ini terinspirasi dari alat perbandingan LLM. Tabelnya sangat mirip, tetapi penambahan kalkulator kustom adalah hal yang bagus

  • Akan bagus jika ada kotak centang di Versus Comparison untuk menyorot field terbaik dari tiap LLM

• Menyukai ide perbandingan model. Ingin tahu apakah ada rencana menambahkan analisis independen, atau apakah ini sekadar agregasi batas input

  • Menanyakan pendapat tentang bagaimana itu akan berbeda dari atau menambah analisis lain
  • Situs webnya nyaman untuk dijelajahi

• Menginginkan nilai "bang for buck". Ingin tahu model termurah yang bisa secara andal menghasilkan data terstruktur dari teks tidak terstruktur

  • Sedang memakai gpt4o-mini tetapi ingin tahu apakah ada alternatif yang lebih murah

• Bertanya apakah ada aplikasi desktop yang lebih baik daripada klien bawaan ChatGPT

  • Lebih menyukai kompatibilitas macOS/Linux

• Menyukai UI dan tata letak tabelnya. Ingin tahu apakah pernah mempertimbangkan untuk menampilkan kebutuhan VRAM model

• Gemini dari Google mengklaim memiliki context window lebih dari 10 kali lebih besar dibanding sebagian besar pesaing

  • Ingin tahu apakah ada yang sudah menguji apakah itu benar-benar berguna
  • Dalam eksperimennya sendiri, model ini cenderung kehilangan alur setelah sekitar 10 kali percakapan
  • Ingin tahu apakah Gemini benar-benar bekerja berbeda, atau hanya gembar-gembor pemasaran

• Hanya ada dua model transkripsi audio. Ingin tahu apakah memang tidak ada model transkripsi open source, atau dataset-nya yang kecil

• Merekomendasikan llmprices.dev. Diperbarui otomatis setiap hari setiap 24 jam dengan informasi terbaru

• Log, hasil pengujian, metrik, dan sebagainya yang dihasilkan selama build bisa menjadi output build

  • Terkadang "deploy" berarti memperbarui string versi dan referensi image di repositori lain
  • Memerlukan kunci SSH, tetapi lebih memilih menanganinya secara manual

• Memberikan pujian besar setelah melihat bahwa proyek ini dibuat untuk hackathon