CEO Anthropic Dario Amodei: Model DeepSeek Tidak Begitu Mengejutkan

Dario Amodei berpendapat bahwa persepsi terhadap model V3 dan R1 milik DeepSeek telah dibesar-besarkan.

Tiga Dinamika Perkembangan AI (Three Dynamics of AI Development)

1. Scaling laws: jika faktor lain sama, performa sistem AI meningkat seiring skala yang membesar. Misalnya, model senilai 1 juta dolar mampu menyelesaikan 20% tugas coding dengan benar, model 10 juta dolar 40%, dan model 100 juta dolar 60%.

2. Shifting the curve: arsitektur model atau peningkatan efisiensi komputasi menggeser kurva biaya-performa. Untuk efisiensi biaya, inovasi kecil memberi peningkatan sekitar 1,2x, inovasi menengah 2x, dan inovasi besar sekitar 10x. Namun, meski efisiensi biaya meningkat, perusahaan tidak menurunkan biaya pelatihan, melainkan menginvestasikannya kembali untuk membuat model dengan performa lebih tinggi. Inovasi-inovasi ini secara gabungan mendorong peningkatan sekitar 4x per tahun.

3. Shifting the paradigm: hingga 2023, sasaran utama scaling adalah pretrained model yang dilatih dengan data internet dalam jumlah besar. Namun sejak 2024, dimulai dari o1, reinforcement learning mulai digunakan. Metode ini dimulai dari pretrained model umum lalu menambahkan tahap reinforcement learning. Sejak 2024, scaling pada tahap reinforcement learning mulai berlangsung, tetapi karena masih tahap awal, investasi kecil pun masih dapat menghasilkan peningkatan performa yang besar.

Model DeepSeek

DeepSeek merilis pretrained model DeepSeek-V3 sebulan lalu, dan minggu lalu merilis R1 yang menambahkan tahap reinforcement learning. DeepSeek-V3 mendekati performa SOTA dan sangat meningkatkan efisiensi model.

• Namun, rumor bahwa DeepSeek menunjukkan performa setara model perusahaan AS bernilai miliaran dolar hanya dengan 6 juta dolar adalah berlebihan. Claude Sonnet 3.5 menghabiskan puluhan juta dolar untuk pelatihan dan dilatih setahun lalu.
• Jika mempertimbangkan bahwa efisiensi pelatihan meningkat sekitar 4x per tahun, dan performa V3 belum mencapai SOTA (selisih sekitar 2x biaya pada kurva), maka fakta bahwa model V3 dilatih dengan biaya sekitar 8x lebih murah bukanlah sesuatu yang menyimpang dari tren perkembangan saat ini. Perusahaan AS juga akan segera mencapai efisiensi setingkat ini dengan cara mereka masing-masing.
• Masalahnya adalah model yang mengikuti tren ini muncul di Tiongkok.
• DeepSeek memiliki 50.000 chip generasi Hopper. Jika ini dipertimbangkan sebagai sekitar 1/2 hingga 1/3 level perusahaan AS, maka selisih biaya dengan perusahaan AS tidak terlalu besar.
• Dari sisi engineering, R1 kurang menarik dibanding V3. Karena saat ini kita masih berada di tahap awal kurva reinforcement learning, R1 bisa menunjukkan performa setingkat o1 dengan biaya rendah. Saat scaling reinforcement learning terus berkembang, kasus seperti ini akan semakin berkurang.

Kontrol ekspor

• Laboratorium riset di AS dan Tiongkok sama-sama menginvestasikan uang dalam jumlah besar untuk mengembangkan AI yang kuat, dan ini akan terus berlanjut sampai tercipta model AI yang lebih unggul daripada hampir semua manusia di hampir semua bidang. Perkiraannya sekitar 2026-2027.
• Pada saat itu, dunia bisa terbagi sangat berbeda tergantung pada kontrol ekspor.

1. Jika Tiongkok mengamankan jutaan chip, dunia akan menjadi bipolar, di mana AS dan Tiongkok masing-masing memiliki model AI kuat dan mendorong inovasi teknologi.
2. Jika Tiongkok tidak berhasil mengamankan jutaan chip, dunia akan menjadi unipolar, di mana hanya AS dan sekutunya yang memiliki model kuat. Karena AI juga mempercepat perkembangan AI, kecenderungan ini akan bertahan untuk sementara waktu.

• Pencapaian DeepSeek tidak berarti kontrol ekspor telah gagal. Mereka sudah mengamankan cukup chip sebelum kontrol ekspor diberlakukan.

Selain itu, Amodei juga membantah rumor bahwa 3.5 Sonnet adalah versi distilasi dari model kelas atas nonpublik (seperti 3.5 Opus).

[iolothebard]

Masalahnya karena model itu muncul dari Tiongkok?
Yang jadi masalah mungkin karena itu model terbuka...

[jintak0401]

Saya menantikan hari ketika AGI muncul, tetapi juga merasa takut.

[kbumsik]

Kalau yang bilang begitu Anthropic sih... hmm
Sudah berbulan-bulan tidak ada kabar baru soal model, jadi mulai pelan-pelan muncul omongan soal sebenarnya Anthropic lagi ngapain.