Claude 3.5 Sonnet dirilis: performa melampaui GPT4o

Anthropic hari ini merilis Claude 3.5 Sonnet. Ini adalah versi pertama dari keluarga model Claude 3.5 yang akan segera hadir, dan menawarkan performa yang melampaui Claude 3 Opus sebelumnya serta model-model pesaing. Claude 3.5 Sonnet tersedia dengan kecepatan dan biaya yang sama seperti Claude 3 Sonnet, model kelas menengah.

Cara ketersediaan

Claude 3.5 Sonnet dapat digunakan secara gratis di Claude.ai dan aplikasi iOS Claude, sementara pelanggan paket Claude Pro dan Team dapat mengaksesnya dengan batas permintaan yang lebih tinggi. Model ini juga tersedia melalui Anthropic API, Amazon Bedrock, dan Vertex AI dari Google Cloud. Biayanya adalah $3 per satu juta token input dan $15 per satu juta token output, serta menyediakan context window 200K token.

Peningkatan performa

Claude 3.5 Sonnet menetapkan tolok ukur baru dalam penalaran tingkat pascasarjana (GPQA), pengetahuan tingkat sarjana (MMLU), dan kemampuan coding (HumanEval). Kemampuannya dalam memahami humor dan instruksi kompleks meningkat secara signifikan, serta mampu menulis konten berkualitas tinggi dengan nada yang alami dan empatik.

Hasil evaluasi internal

Dalam evaluasi coding internal, Claude 3.5 Sonnet menyelesaikan 64% masalah, melampaui Claude 3 Opus yang mencatat 38%. Evaluasi ini menguji kemampuan untuk memperbaiki bug atau menambahkan fitur pada codebase open source berdasarkan penjelasan dalam bahasa alami. Claude 3.5 Sonnet juga dengan mudah menangani penerjemahan kode, sehingga sangat efektif untuk pembaruan aplikasi legacy dan migrasi codebase.

Kemampuan visual

Claude 3.5 Sonnet mengungguli Claude 3 Opus pada benchmark visual standar, dan menunjukkan performa menonjol pada tugas yang memerlukan penalaran visual. Kemampuannya untuk mentranskripsikan teks secara akurat dari gambar yang tidak lengkap sangat berguna di bidang ritel, logistik, dan layanan keuangan.

Pengenalan fitur Artifacts

Artifacts yang diperkenalkan hari ini di Claude.ai menyediakan ruang kerja dinamis yang memungkinkan pengguna mengedit konten seperti snippet kode, dokumen teks, dan desain situs web secara real-time, lalu mengintegrasikannya ke dalam proyek dan workflow.

Keamanan dan privasi

Claude 3.5 Sonnet telah melalui pengujian ketat pada level ASL-2, dan menyelesaikan evaluasi keamanan pra-deployment bekerja sama dengan UK AI Safety Institute (UK AISI). Data pengguna tidak digunakan untuk pelatihan tanpa izin yang eksplisit.

Rencana ke depan

Untuk melengkapi keluarga model Claude 3.5, Claude 3.5 Haiku dan Claude 3.5 Opus dijadwalkan rilis pada akhir tahun ini. Anthropic juga sedang mengembangkan fitur dan modality baru untuk mendukung integrasi aplikasi enterprise, serta mengeksplorasi fitur 'Memory' yang dapat mengingat preferensi pengguna dan riwayat interaksi.

Kami selalu berupaya meningkatkan Claude dan mencerminkan masukan pengguna untuk menghadirkan pengalaman yang lebih baik. Umpan balik tentang Claude 3.5 Sonnet dapat dikirim langsung di dalam produk agar dapat tercermin dalam roadmap pengembangan.

[wedding]

Saya sudah mencobanya, dan kecepatannya luar biasa cepat.
Bagus juga karena seperti gpt4o, ini bisa digunakan gratis untuk sejumlah kali tertentu.