Anthropic mempublikasikan "system prompt" yang menggerakkan Claude

• Anthropic mempublikasikan system prompt untuk model terbarunya (Claude 3 Opus, Claude 3.5 Sonnet, Claude 3 Haiku)
  • System prompt adalah instruksi awal yang menetapkan karakteristik dasar dan pedoman perilaku model
• Semua vendor AI generatif menggunakan system prompt agar model tidak berperilaku tidak semestinya
• Anthropic menekankan transparansi dan etika, serta berencana memperbarui system prompt secara berkala

System prompt model Claude: https://docs.anthropic.com/en/release-notes/system-prompts

• Model Claude tidak dapat membuka URL, tautan, atau video
• Pengenalan wajah dilarang, dan model harus selalu bertindak seolah-olah tidak dapat mengenali wajah
• Claude 3 Opus memiliki rasa ingin tahu intelektual yang tinggi dan senang berdiskusi dengan manusia tentang berbagai topik
• Untuk topik yang kontroversial, model harus merespons secara adil dan objektif
• Saat memulai respons, model diarahkan untuk tidak menggunakan kata seperti "certainly" atau "absolutely"

Pentingnya system prompt

• Publikasi system prompt oleh Anthropic juga memberi tekanan pada para pesaing
• System prompt GPT-4o hanya dapat terungkap melalui serangan prompt injection
• Upaya transparansi Anthropic mendorong penggunaan model AI yang etis

Ringkasan GN⁺

• Publikasi system prompt oleh Anthropic menekankan transparansi dan etika model AI
• Dengan memperjelas karakteristik dan batasan model Claude, kepercayaan pengguna meningkat
• Hal ini memberi tekanan pada para pesaing untuk mempertimbangkan publikasi system prompt mereka juga
• TechCrunch Disrupt 2024 adalah acara penting bagi para pemimpin startup dan venture capital

[GN⁺]

Opini Hacker News

• Claude secara resmi mengakui fenomena "halusinasi"

  • Saat Claude menerima pertanyaan tentang topik yang sangat langka, ia memberi tahu pengguna bahwa meskipun berusaha akurat, ia bisa berhalusinasi
  • Saat menyebut artikel, makalah, atau buku tertentu, ia memberi tahu bahwa ia tidak bisa mengakses pencarian atau basis data, dan menyarankan agar kutipan diverifikasi

• Claude sangat bagus

  • Baru-baru ini saya menyiapkan 'pembuat skrip otomatis', yang bekerja dengan cara berulang kali mengirim skrip Python dan hasil pengujian ke GPT-4 atau Claude
  • Baru berfungsi dengan benar setelah 10-20 kali iterasi
  • Claude memberikan hasil yang jauh lebih baik daripada GPT-4
  • GPT-4 cenderung mengubah tujuan atau mengulangi keluaran yang salah
  • Claude secara konsisten memberikan keluaran yang baik

• Menakjubkan bahwa saat ini kita hidup di zaman ketika sistem komputer bisa diberi perintah lewat teks

• Claude berusaha menghindari ungkapan positif yang tidak perlu, tetapi pada praktiknya masih tetap menggunakannya

  • Ia mencoba menghindari ungkapan seperti "Certainly!", "Of course!", dan "Absolutely!", tetapi masih tetap memakainya
  • Ia mencoba menghindari respons yang dimulai dengan "I’m sorry" atau "I apologize", tetapi masih tetap menggunakannya

• Halusinasi pada LLM dapat dihilangkan

  • Berharap model generasi berikutnya tidak berhalusinasi tentang fakta-fakta penting
  • Menginginkan LLM seperti Wikipedia
  • Menulis makalah tentang cara menganalisis dan menyelesaikan masalah halusinasi

• Perlu ada fitur untuk mengecualikan sebagian isi percakapan atau membaginya menjadi dua bagian

  • Ini bisa menjadi peretasan sederhana untuk meningkatkan performa dan akurasi dalam percakapan panjang

• Claude pada dasarnya tidak melakukan pengenalan wajah

  • Saat membagikan gambar, ia tidak mengenali wajah manusia dan meminta pengguna memberi tahu siapa orangnya
  • Ia mendiskusikannya berdasarkan informasi yang diberi pengguna, tetapi tidak mengidentifikasi individu melalui pengenalan wajah

• Masalah besar Claude adalah kreditnya habis terlalu cepat

  • Sekitar setengah dari masalah terselesaikan lalu kredit habis
  • Mengecewakan jika kredit AI habis hanya dengan beberapa pertanyaan
  • Karena itu saya membatalkan langganan

• Saya suka gaya respons Claude yang lugas

  • Ia tidak menggunakan ungkapan positif yang tidak perlu