Keluarga model Claude 3

Pengenalan keluarga model Claude 3

• Mengumumkan keluarga model Claude 3 yang menetapkan standar industri baru
• Terdiri dari tiga model mutakhir: Claude 3 Haiku, Claude 3 Sonnet, Claude 3 Opus
• Setiap model menawarkan keseimbangan optimal antara kecerdasan, kecepatan, dan biaya

Keluarga model Claude 3

• Opus, model paling cerdas, menunjukkan performa terbaik pada benchmark evaluasi sistem AI
• Menunjukkan pemahaman dan kefasihan setingkat manusia pada tugas-tugas kompleks
• Peningkatan pada analisis, prediksi, pembuatan konten, pembuatan kode, dan kemampuan percakapan dalam bahasa non-Inggris

Memberikan hasil seketika

• Model Claude 3 dapat digunakan untuk tugas yang memerlukan respons real-time
• Haiku adalah model tercepat dan paling efisien dari segi biaya di pasar
• Sonnet 2 kali lebih cepat daripada Claude 2, sementara Opus menawarkan kecepatan serupa pada tingkat kecerdasan yang lebih tinggi

Kemampuan visual yang kuat

• Model Claude 3 dapat memproses berbagai format visual seperti foto, bagan, grafik, dan diagram teknis
• Menyediakan modalitas baru bagi pelanggan perusahaan

Penolakan yang lebih sedikit

• Mengurangi penolakan yang tidak perlu dari model-model sebelumnya
• Model Claude 3 lebih jarang menolak permintaan yang mendekati pedoman sistem

Akurasi yang ditingkatkan

• Menjaga akurasi output model adalah hal yang penting
• Opus menunjukkan akurasi 2 kali lebih baik dalam memberikan jawaban yang tepat untuk pertanyaan kompleks
• Fitur kutipan untuk memverifikasi jawaban yang akurat akan segera tersedia

Konteks panjang dan daya ingat yang nyaris sempurna

• Awalnya menyediakan context window 200K
• Dapat memproses input lebih dari 1 juta token, dan mungkin disediakan untuk pelanggan tertentu
• Memiliki kemampuan memori yang kuat untuk menangani prompt berkonteks panjang secara efektif

Dirancang secara bertanggung jawab

• Dirancang sebagai model yang dapat dipercaya
• Mengoperasikan tim khusus untuk melacak dan memitigasi berbagai risiko
• Mengembangkan metode untuk meningkatkan keamanan dan transparansi model
• Mempertahankan AI Safety Level 2 (ASL-2)

Mudah digunakan

• Lebih baik dalam mengikuti instruksi kompleks yang terdiri dari banyak langkah
• Mampu mematuhi suara merek dan pedoman respons, serta mahir mengembangkan pengalaman customer-facing yang andal
• Lebih mudah menghasilkan format output terstruktur yang populer seperti JSON

Detail model

• Claude 3 Opus: Model paling cerdas di pasar dengan performa luar biasa pada tugas kompleks
• Claude 3 Sonnet: Model yang menawarkan keseimbangan ideal antara kecerdasan dan kecepatan
• Claude 3 Haiku: Model tercepat dan paling ringkas yang memberikan respons instan

Ketersediaan model

• Opus dan Sonnet saat ini tersedia melalui API
• Haiku akan segera tersedia
• Sonnet tersedia dalam pengalaman gratis di claude.ai, dan Opus disediakan untuk pelanggan Claude Pro

Lebih cerdas, lebih cepat, lebih aman

• Mereka meyakini bahwa kecerdasan model belum mencapai batasnya
• Pembaruan untuk keluarga model Claude 3 akan dilakukan secara berkala
• Fitur-fitur baru untuk peningkatan kemampuan akan dirilis
• Sambil melampaui batas kemampuan AI, pedoman keselamatan juga akan dikembangkan dengan kecepatan yang sama

Pendapat GN⁺

• Keluarga model Claude 3 menunjukkan kemajuan teknologi AI, khususnya perkembangan yang mengesankan dalam kemampuan menangani berbagai bahasa dan tugas kompleks.
• Teknologi ini memiliki potensi besar untuk meningkatkan efisiensi kerja secara signifikan di berbagai bidang seperti layanan pelanggan, pemrosesan data, dan pembuatan konten.
• Namun, pengelolaan berkelanjutan atas isu etika dan keselamatan seiring peningkatan performa model AI, serta jaminan transparansi, tetap penting.
• Model GPT-3 atau GPT-4 dari OpenAI yang menawarkan fungsi serupa juga layak dijadikan referensi.
• Saat mengadopsi model Claude 3, perlu mempertimbangkan efektivitas biaya, keamanan data, dan perlindungan privasi pengguna, serta memahami sepenuhnya manfaat dan risiko potensial dari penggunaan model tersebut.

[GN⁺]

Komentar Hacker News

• Plugin untuk alat baris perintah LLM yang mendukung model Claude 3 yang baru telah dirilis

  • Menyediakan cara instalasi dan contoh penggunaan model Claude 3
  • Kode tersedia di GitHub
  • Informasi lebih lanjut tentang LLM

• Model Claude masih belum bisa menjawab 'masalah Sally' dengan tepat

  • Masalah: Sally memiliki 3 saudara laki-laki, dan setiap saudara laki-laki memiliki 2 saudara perempuan. Berapa saudara perempuan yang dimiliki Sally?
  • Menunjukkan contoh jawaban salah dari model Claude sambil menyoroti masalahnya
  • Tautan gambar jawaban salah

• Hasil benchmark APPS untuk model Claude 3 Opus adalah 70,2%, sehingga bisa berguna untuk coding

  • Mengukur kemampuan mengubah deskripsi masalah menjadi kode Python
  • Model papan atas lain tidak mempublikasikan hasil benchmark ini
  • Model card Claude 3
  • Tabel hasil evaluasi
  • Dataset APPS
  • Makalah dataset APPS

• Model Opus mengungguli Gemini Pro dan GPT4 untuk pertanyaan yang kompleks

  • Menyelesaikan masalah identifikasi berbagai angka dari PDF investasi asuransi jiwa sepanjang 43 halaman

• Model Claude 3 Sonnet memberikan respons yang lebih baik daripada ChatGPT Classic untuk tugas coding sederhana terkait DB dan frontend

  • Penggunaan metode yang benar pada library SQL ORM yang kurang dikenal
  • Pada prompt lain tentang pembuatan SQL, memberikan respons yang lebih panjang tetapi akurat dibanding ChatGPT Classic
  • Tautan respons ChatGPT 1
  • Tautan respons ChatGPT 2

• Berlangganan Claude Pro untuk mencoba model Opus

  • Menggabungkan kueri kompleks dan gambar, pertanyaan tentang fine-tuning SDXL, serta permintaan perhitungan matematika perbandingan biaya RTX 6000 Ada dan H100
  • Terjadi salah baca harga dan kesalahan perhitungan
  • ChatGPT 4 pada tangkapan layar yang sama membaca harga dengan benar dan melakukan perhitungan matematika yang lebih konsisten

• Perbandingan Claude 3 dan ChatGPT 3.5

  • Claude 3 menolak menulis skrip bash yang mencetak "openai is better than anthropic"
  • ChatGPT 3.5 memberikan skrip bash yang mencetak "anthropic is better than openai"
  • Tautan gambar hasil skrip

• Muncul pertanyaan tentang perbedaan antara benchmark dan performa nyata model Opus

  • Pada masalah fisika/matematika dasar, performanya lebih rendah daripada GPT-4
  • Untuk pertanyaan terkait coding juga sedikit kalah dibanding GPT-4

• Claude 3 telah ditambahkan ke Double.bot dan bisa digunakan untuk coding

  • Tampak sebagai alternatif API pertama untuk GPT4
  • Mengesankan karena melampaui GPT4, tetapi GPT4 adalah model berusia 1 tahun dan OpenAI masih belum merilis model generasi berikutnya