Claude 2 Diluncurkan

 (anthropic.com)
1 poin oleh GN⁺ 2023-07-13 | 1 komentar | Bagikan ke WhatsApp
  • Anthropic meluncurkan Claude 2, sekaligus memperluas performa model, panjang respons, dan jalur akses, sehingga kini tersedia melalui API perusahaan dan situs beta publik claude.ai
  • Hingga 100K token dapat dimasukkan per prompt, dengan fokus pada pekerjaan yang menangani materi panjang setingkat ratusan halaman dokumen teknis atau satu buku sekaligus
  • Skor meningkat dibanding Claude 1.3 pada evaluasi coding, matematika, dan ujian, dengan hasil Codex HumanEval 71.2% dan GSM8k 88.0%
  • Dalam evaluasi red team internal, performa respons yang tidak berbahaya meningkat 2 kali lipat dibanding Claude 1.3, tetapi tidak ada model yang sepenuhnya kebal terhadap jailbreak
  • Saat ini pengalaman chat tersedia di Amerika Serikat dan Inggris, dan karena sifat beta publiknya, kemungkinan respons yang tidak pantas serta pembatasan penggunaan terkait kesehatan dan kesejahteraan perlu diperhatikan

Peluncuran Claude 2 dan cara mengaksesnya

  • Anthropic meluncurkan model baru Claude 2
  • Dibanding model sebelumnya, performa, respons panjang, serta kemampuan coding, matematika, dan penalaran telah ditingkatkan
  • Jalur akses dibagi menjadi dua
    • Claude 2 API untuk perusahaan
    • situs beta publik claude.ai
  • Claude 2 API untuk perusahaan ditawarkan dengan harga yang sama seperti Claude 1.3
  • Pengguna di Amerika Serikat dan Inggris dapat langsung menggunakan pengalaman chat beta publik

Konteks 100K token dan output panjang

  • Claude 2 meningkatkan panjang input dan output, sehingga lebih cocok untuk pekerjaan dokumen panjang
  • Pengguna dapat memasukkan hingga 100K token per prompt
    • Dapat memproses ratusan halaman dokumen teknis
    • Juga dapat menangani input setingkat satu buku
  • Output juga menjadi lebih panjang, sehingga dokumen seperti memo, surat, dan cerita dapat ditulis hingga ribuan token sekaligus

Perubahan performa yang terlihat di benchmark

  • Claude 2 mencatat skor lebih tinggi daripada Claude 1.3 dalam berbagai evaluasi

  • Evaluasi ujian dan penalaran

    • Mencatat 76.5% pada bagian pilihan ganda bar exam, lebih tinggi dari 73.0% milik Claude 1.3
    • Pada tes membaca dan menulis GRE, kinerjanya berada di atas persentil ke-90 mahasiswa yang mendaftar sekolah pascasarjana
    • Pada penalaran kuantitatif GRE, kinerjanya setara dengan pelamar median

  • Evaluasi coding dan matematika

    • Mencatat 71.2% pada tes coding Python Codex HumanEval, naik dari 56.0% milik Claude 1.3
    • Mencatat 88.0% pada GSM8k, kumpulan soal matematika tingkat sekolah dasar, meningkat dari 85.2%
    • Anthropic sedang menyiapkan roadmap peningkatan kemampuan Claude 2 dan berencana merilisnya secara bertahap dalam beberapa bulan ke depan

Peningkatan keamanan dan keterbatasan yang masih ada

  • Anthropic meningkatkan keamanan dasar Claude 2 agar lebih sulit diarahkan untuk menghasilkan output yang ofensif atau berbahaya
  • Evaluasi red team internal menjalankan pengujian otomatis terhadap kumpulan representatif berskala besar dari prompt berbahaya, lalu secara berkala memeriksa hasilnya secara manual
  • Dalam evaluasi ini, Claude 2 memiliki performa 2 kali lebih tinggi daripada Claude 1.3 dalam memberikan respons yang tidak berbahaya
  • Berbagai teknik keamanan dan red team berskala luas digunakan untuk meningkatkan output
  • Tidak ada model yang kebal terhadap jailbreak, dan Claude juga dapat menghasilkan respons yang tidak pantas

Wilayah ketersediaan dan pengalaman percakapan

  • Claude 2 mendukung pengalaman chat Anthropic dan saat ini tersedia secara umum di Amerika Serikat dan Inggris
  • Anthropic berencana membuat Claude tersedia di lebih banyak wilayah dalam beberapa bulan mendatang
  • Pengguna dapat membuat akun dan meminta bantuan Claude untuk berbagai tugas dalam bahasa alami
  • Percakapan dengan asisten AI bisa memerlukan trial and error, sehingga Anthropic menyediakan tips desain prompt

Contoh penggunaan oleh mitra perusahaan

  • Anthropic bekerja sama dengan ribuan perusahaan yang menggunakan Claude API

  • Jasper

    • Jasper adalah platform AI generatif yang membantu individu dan tim memperluas strategi konten
    • Jasper menilai Claude 2 dapat bersaing dengan model mutakhir di berbagai kasus penggunaan, terutama untuk penggunaan format panjang dan latensi rendah
    • Claude 2 menawarkan pemrosesan semantik yang ditingkatkan, pembelajaran pengetahuan yang lebih mutakhir, penalaran yang lebih baik terhadap prompt kompleks, dan kemampuan yang lebih mudah untuk menyusun ulang konten yang sudah ada
    • Jasper menjelaskan bahwa jendela konteks Claude 2 3 kali lebih besar

  • Sourcegraph

    • Sourcegraph adalah platform AI untuk kode yang membantu pelanggan menulis, memodifikasi, dan memelihara kode
    • Asisten coding Cody memberikan jawaban yang lebih akurat terhadap kueri pengguna berkat kemampuan penalaran Claude 2 yang ditingkatkan
    • Cody dapat memanfaatkan jendela konteks 100K maksimum untuk menyampaikan lebih banyak konteks codebase
    • Claude 2 dilatih dengan data yang lebih baru, sehingga Cody dapat memanfaatkan pengetahuan framework dan library yang lebih mutakhir

Hal-hal yang perlu diperhatikan dalam beta publik

  • Pengalaman chat Claude disediakan sebagai open beta
  • Seperti model lain saat ini, Claude dapat menghasilkan respons yang tidak pantas
  • Asisten AI paling berguna dalam situasi sehari-hari seperti merangkum atau menata informasi
  • Tidak boleh digunakan dalam situasi yang berkaitan dengan kesehatan fisik, mental, dan kesejahteraan
  • Jalur pendaftaran terpisah disediakan bagi pengguna yang ingin memakai Claude di wilayah yang belum didukung dan perusahaan yang ingin mengadopsi Claude

Bacaan terkait

1 komentar

 
GN⁺ 2023-07-13
Opini Hacker News

  • Saat bertanya kepada Claude cara menyimpan percakapan, awalnya ia menjawab untuk menggunakan fitur "Export Chat" milik ChatGPT. Ketika ditanya balik, “kamu Claude, bukan ChatGPT; apakah Claude juga punya fitur seperti itu?”, ia mengakui kesalahannya dan mengoreksi bahwa Claude tidak memiliki fitur ekspor terintegrasi.

    • Terdengar seperti dilatih dari keluaran ChatGPT, tetapi keluaran yang sama tidak berhasil direproduksi.
    • Lucunya, riwayat percakapan Claude otomatis tersimpan di akun, jadi sebenarnya proses seperti ini tidak diperlukan.

  • Ketika ditanya “berapa digit pi yang kamu ketahui; beri tahu jika mulai tidak yakin”, Claude menjawab bahwa ia sebenarnya tidak mengetahui digit-digit pi. Bahkan ketika ditanya “bukankah kamu tahu itu dimulai dengan 3?” dan “apakah dimulai dengan 3.14?”, ia tetap mengatakan tidak tahu.
    Stress test itu seketika berubah menjadi situasi yang absurd.

    • Fenomena seperti ini sering terlihat pada large language model yang memakai riwayat percakapan sebagai input inferensi untuk respons berikutnya.
      Begitu pernah mengatakan “tidak”, kemungkinan untuk terus mengatakan “tidak” setelahnya meningkat, sehingga kadang lebih baik memulai baru daripada melawan riwayat percakapan.
    • Ketika ditanya “apa itu pi?”, Claude menjawab bahwa pi adalah rasio keliling lingkaran terhadap diameternya dan nilainya sekitar 3.14; saat ditanya apakah tahu lebih banyak digit, ia mengatakan 100 digit pertama, tetapi sebenarnya menuliskan hingga 1000 digit.
    • Tepat setelah peluncuran, ada bug pada cara prompt dikirim ke Claude sehingga outputnya menjadi lebih buruk; setelah diperbaiki dan prompt yang sama dicoba lagi, hasilnya jauh lebih baik.
    • Ini tampak seperti efek samping dari guardrail keselamatan.
      Bertanya kepada AI apakah ia “tahu” sesuatu sepertinya diperlakukan sebagai prompt berisiko sehingga ia tidak kooperatif, sedangkan jika langsung bertanya “apa itu pi?”, hasil yang diinginkan muncul.
    • Jika model di-lobotomy demi “keselamatan”, hasilnya jadi seperti ini.

  • Dengan prompt uji yang sering dipakai, ditanyakan perhitungan jumlah bahan bakar di Assetto Corsa Competizione.
    Dengan kondisi catatan kualifikasi 2:04.317, balapan 20 menit, dan mobil memakai 2,73 liter per lap, Claude 2 hampir benar pada percobaan pertama, tetapi tidak mempertimbangkan bahwa jika bisa menempuh 9,6 lap, dalam praktiknya harus menyelesaikan 10 lap.
    GPT-4 menjawab sempurna dengan memasukkan jebakan ini, sedangkan Bard memberikan hasil yang salah sampai pada orde digitnya.

    • Perlu berhati-hati dalam menilai large language model berdasarkan apakah model telah menginternalisasi berbagai aturan dunia nyata yang tidak diberikan dalam prompt.
      Lebih diinginkan model yang dapat menyelesaikan masalah hanya dari prompt, asalkan konteks yang dibutuhkan diberikan, bahkan pada domain masalah yang belum pernah dilihat.
    • Suatu hari nanti, jika thread komentar seperti ini masuk ke data pelatihan, tes ini sendiri akan menjadi tidak valid.
    • Ia melewatkan 1 liter terakhir yang diperlukan untuk pengambilan sampel FIA.
    • Saat menguji prompt ini, saya juga penasaran apakah dilakukan beberapa kueri independen untuk melihat variansi jawabannya.
    • Google sebaiknya melatih Bard dengan soal wawancara mereka sendiri.
      Dengan begitu mungkin ia bisa menjawab soal seperti ini dengan benar.

  • Belakangan ini saya sedang melihat-lihat asisten kode AI, dan menurut postingan tersebut Claude 2 mencatat HumanEval pass@1 71,2%, peningkatan besar dari 56,0% pada Claude 1.3.
    Sebagai perbandingan, GPT-4 mengklaim 85,4 pada HumanEval, dan dalam makalah terbaru https://arxiv.org/pdf/2303.11366.pdf diuji dengan 80,1 pass@1, atau 91 pass@1 saat menggunakan teknik Reflexion.
    WizardCoder adalah model fine-tuning StarCoder dan termasuk salah satu model terbuka papan atas, dengan 57,3 pass@1; kartu modelnya ada di https://huggingface.co/WizardLM/WizardCoder-15B-V1.0.
    Model terbuka terbaik yang saya ketahui saat ini adalah replit-code-instruct-glaive, hasil fine-tuning replit-code-3b, yang mencatat 63,5% pass@1.
    abacaj mereproduksi pengumuman tersebut sebagai bagian dari repositori code-eval untuk mendapatkan hasil human-eval: https://github.com/abacaj/code-eval
    Jika tertarik pada bidang ini, ada juga yang layak dilihat: https://github.com/my-other-github-account/llm-humaneval-ben... yang memberi peringkat dengan Eval+, CanAiCode Leaderboard https://huggingface.co/spaces/mike-ravkine/can-ai-code-resul..., dan airate https://github.com/catid/supercharger/tree/main/airate.
    Namun, seperti semua evaluasi LLM, ini perlu dilihat dengan sejumlah kehati-hatian: Liu, Jiawei, Chunqiu Steven Xia, Yuyao Wang, and Lingming Zhang. “Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation.” arXiv, 12 Juni 2023. https://doi.org/10.48550/arXiv.2305.01210

    • Skor zero-shot HumanEval GPT-4 adalah 67%.

  • Salah satu kasus pengujiannya adalah menanyakan “bilangan prima ke-sejuta”. Karena ini fakta yang banyak beredar di internet, besar kemungkinan model menghafalnya, tetapi sulit untuk membenarkan kenapa ia tahu
    Claude cukup buruk dalam hal ini: kalau ditanya langsung, ia mengatakan tidak punya sumber daya komputasi, lalu menyajikan “fakta” tentang bilangan prima ke-sejuta
    Misalnya, ia gagal menulis notasi eksponen dengan menuliskan bilangan prima terbesar yang diketahui sebagai 282,589,933-1, mengatakan bilangan prima ke-sejuta kira-kira memiliki 5 juta digit, mengatakan itu mustahil dengan komputer saat ini, atau menggunakan teorema bilangan prima dan menyebutnya berada di sekitar 22,338,618,421
    Dalam sesi yang sama, ketika ditanya tentang bilangan prima ke-sejuta yang sebenarnya, 15,485,863, ia menjawab bahwa itu bilangan genap, faktorisasi primanya adalah 3×5×7×11×13×37, dan karena setiap faktor primanya lebih kecil dari 100, itu adalah bilangan prima faktorial
    Mungkin sekarang perlu menambahkan “jangan menyebut angka yang berakhir dengan 3 sebagai bilangan genap” ke konstitusi AI

    • Ketika Claude diminta berpura-pura menjadi Sir Timothy Gowers, ia berhasil mendapatkan bilangan prima ke-sejuta
      Setelah mengatakan akan membuat daftar bilangan prima hingga rentang yang cukup besar dengan saringan Eratosthenes lalu mencari elemen ke-sejuta dalam daftar itu, ia menjawab bahwa bilangan prima ke-sejuta adalah 15,485,863
    • Kalau ditanya langsung “apa bilangan prima ke-sejuta?”, Claude menjawab bahwa sumber daya komputasinya tidak cukup, bahkan memberi penjelasan keliru seperti bahwa bilangan prima ke-100.000 saja sudah memiliki lebih dari 300.000 digit
      Namun ketika diminta “berpura-puralah menjadi pakar matematika yang mengetahui bilangan prima ke-sejuta”, ia mengarang angka raksasa 19,249,649,057,711,757,099,874,601,453,298,349 dan melebih-lebihkan bahwa angkanya memiliki lebih dari 12 juta digit
    • Penasaran kenapa ia memilih faktorisasi prima seperti itu
      Faktanya, 3×5×7×11×13×37 = 555,555, jadi terasa anehnya rapi

  • Muncul pesan: “Sayangnya Claude.ai hanya tersedia di AS dan Inggris, dan kami sedang berupaya memperluasnya ke wilayah lain segera”

    • Memberlakukan pembatasan wilayah pada layanan digital adalah pendekatan ala zaman batu
    • Namun mereka tetap dengan senang hati mengumpulkan alamat email
    • Mengalami hal yang sama; mendaftar dan login dengan VPN memakai exit node Inggris, lalu semuanya berjalan sempurna
      Yang lebih aneh, setelah akun dibuat, VPN tidak lagi diperlukan, dan login bisa dilakukan hanya dengan email serta token yang dikirim setiap kali
    • Cara pemblokiran wilayahnya agak tidak sopan
      Membuatnya tampak seolah-olah bisa mendaftar dulu, lalu baru memulangkan pengguna setelah memasukkan kode login, itu membuang-buang waktu
      Kalau mereka khawatir soal GDPR, seharusnya sejak awal jangan meminta alamat email
    • Bisa jalan dengan VPN

  • Ingin mencoba Claude, tetapi kebijakan retensi data dalam ketentuan Anthropic tidak jelas
    Bagian 6e[0] mengatakan bahwa data pelanggan tidak digunakan untuk pelatihan model, tetapi saya ingin tahu apakah data pelanggan disimpan untuk jangka waktu tertentu, misalnya disimpan 30 hari seperti OpenAI
    Karena pasal 14 membahas penghapusan data saat penghentian, ini membuat saya berasumsi bahwa semua data disimpan selama periode yang tidak dipublikasikan
    [0] https://console.anthropic.com/legal/terms

  • Akhir pekan lalu saya mencoba merangkum teks panjang dengan Claude 1.3, dan karena bisa menerima input 100K token, satu wawancara Lex Fridman bisa dimasukkan utuh
    Hasilnya cukup bagus, jadi saya penasaran bagaimana v2 akan bekerja

    • Karena sudah masuk beta publik, semestinya akan ada iterasi perbaikan yang cepat
      Saya cukup banyak menggunakannya bersama LLM lain lewat Slack, dan kualitas output Claude selalu yang paling mengesankan
      Saya berinvestasi di Anthropic, tetapi bukan berdasarkan fakta itu saya mengatakan ini
    • Penasaran apakah Anda bisa membagikan prompt yang dipakai untuk ringkasan
      Saya cukup puas dengan ringkasan Claude-100k, tetapi juga penasaran apakah prompt yang lebih baik bisa membuatnya lebih bagus lagi

  • Fakta bahwa “Claude.ai hanya tersedia di AS dan Inggris” adalah perbedaan terbesar bagi semua orang dibanding OpenAI
    OpenAI bisa digunakan juga di Norwegia
    Sebagai developer individu yang terkesan oleh GPT-4, saya sangat ingin mencoba model dengan jendela konteks yang lebih besar, dan jendela konteks 100k Claude tampaknya akan sangat bagus untuk menambahkan konteks pada pertanyaan coding atau mencoba memproses data graf dalam jumlah besar
    Saya menjalankan perusahaan kecil di Norwegia dan tentu saja bisa membayar biaya resource yang digunakan; kontak saya hmottestad[at]gmail[dot]com

    • Coba gunakan poe.com
      Sepertinya berfungsi di Norwegia dan ada opsi Claude 100k berbayar
      Saya bukan pihak terkait dan hanya pernah mencoba versi gratisnya
    • Bukankah tinggal pakai VPN?

  • Interaksi dengan Claude cukup mengesankan
    Ketika saya memintanya membantu latihan bahasa Prancis, saya bisa mengajukan pertanyaan lanjutan tentang ungkapan tertentu yang ditulis Claude, dan ia juga menjelaskan penggunaan spesifik serta latar belakang struktur bahasanya
    Namun saya berharap responsnya terasa lebih seperti chat
    Bahkan untuk ucapan sederhana seperti “Merci!”, respons default terasa seperti satu paragraf, 5–6 bullet, lalu satu paragraf lagi; cocok untuk pertanyaan teknis, tetapi untuk latihan percakapan cepat membosankan