Anthropic Economic Index: Dampak Claude 3.7 Sonnet

esc5221 · 2025-04-01T19:10:51+09:00

Anthropic merilis laporan riset kedua tentang dampak ekonomi AI setelah peluncuran Claude 3.7 Sonnet Laporan ini menganalisis data penggunaan Claude.ai setelah peluncuran model terbaru dan terkuat mereka, Claude 3.7 Sonnet Dataset-nya dibuka agar bisa diunduh secara bebas Temuan utama Setelah peluncuran Claude 3.7 Sonnet, porsi penggunaan meningkat pada aplikasi coding, pendidikan, sains, dan medis Mode baru "extended thinking" pada Claude 3.7 Sonnet terutama digunakan untuk pekerjaan teknis Terutama dimanfaatkan untuk pekerjaan yang terkait dengan peneliti ilmu komputer, pengembang perangkat lunak, animator multimedia, dan desainer video game Data analisis bantuan/otomatisasi pada tingkat tugas dan pekerjaan dipublikasikan Pekerjaan yang terkait dengan copywriter dan editor menunjukkan tingkat iterasi kerja tertinggi (manusia dan model menulis bersama) Pekerjaan yang terkait dengan penerjemah dan juru bahasa menunjukkan tingkat tindakan direktif tertinggi (model menyelesaikan pekerjaan dengan keterlibatan manusia yang minimal) Taksonomi bottom-up untuk penggunaan di Claude.ai pertama kali dipublikasikan Menyediakan dataset baru yang mencakup 630 kategori terperinci Klasifikasi ini diharapkan membantu mengidentifikasi use case yang bisa terlewat oleh pendekatan top-down yang ada Perubahan setelah peluncuran Claude 3.7 Sonnet Menganalisis 1 juta percakapan anonim Claude.ai Free dan Pro selama 11 hari setelah peluncuran Porsi penggunaan di bidang coding, pendidikan, dan sains sedikit meningkat Kenaikan penggunaan coding diperkirakan disebabkan oleh peningkatan skor benchmark coding Claude 3.7 Sonnet Kenaikan pada kategori lain dapat mencerminkan penyebaran AI di seluruh ekonomi, penerapan baru coding pada domain tersebut, atau peningkatan kemampuan model yang tidak terduga Pola penggunaan mode extended thinking Mode extended thinking terutama digunakan dalam situasi pemecahan masalah teknis dan kreatif Pekerjaan terkait ilmuwan riset komputer dan informasi adalah yang paling banyak, hampir 10% Juga menunjukkan tingkat penggunaan yang signifikan pada pekerjaan terkait pengembang perangkat lunak (sekitar 8%), seniman multimedia (sekitar 7%), dan desainer video game (sekitar 6%) Untuk riset lanjutan atas fitur model baru ini, dipublikasikan dataset yang memetakan rasio mode berpikir untuk setiap tugas Perubahan rasio bantuan vs otomatisasi Keseimbangan antara penggunaan bantuan dan penggunaan otomatisasi pada data baru pada dasarnya tetap tidak berubah, dengan bantuan mencakup 57% Beberapa perubahan diamati dalam jenis otomatisasi dan bantuan Interaksi pembelajaran, ketika pengguna meminta informasi atau penjelasan tentang berbagai topik, meningkat dari ~23% menjadi ~28% Pekerjaan layanan sosial menunjukkan tingkat penggunaan bantuan mendekati 75% Pekerjaan yang terkait dengan produksi atau profesi komputer dan matematika menunjukkan rasio bantuan/otomatisasi yang mendekati 50-50% Tidak ada kategori pekerjaan yang didominasi oleh otomatisasi Taksonomi bottom-up Dataset bottom-up untuk penggunaan Claude.ai dipublikasikan Dibuat menggunakan Clio dan memakai dataset percakapan anonim yang sama Terdiri dari 630 cluster terperinci, serta mencakup deskripsi terkait, metrik adopsi, dan analisis otomatisasi/bantuan Terdiri dari 3 tingkat hierarki Contoh cluster yang sangat menarik: Dukungan untuk sistem manajemen sumber daya air dan proyek infrastruktur Pembuatan simulasi berbasis fisika dengan fitur visualisasi interaktif Dukungan untuk pemilihan font, implementasi, dan pemecahan masalah Dukungan untuk pembuatan dan peningkatan materi lamaran kerja Pemberian panduan tentang teknologi baterai dan sistem pengisian daya Kesimpulan dan rencana ke depan Seiring model berkembang, pengukuran terhadap dampak ekonominya juga harus berkembang Pada data setelah peluncuran Claude 3.7 Sonnet, terlihat kenaikan yang relatif kecil pada use case coding, pendidikan, dan sains, sementara keseimbangan bantuan/otomatisasi tidak berubah Mode extended thinking digunakan dengan frekuensi tertinggi pada domain dan tugas teknis Pola teridentifikasi dalam pola otomatisasi/bantuan di berbagai tugas dan pekerjaan Dalam beberapa bulan ke depan, metrik ini akan terus dilacak dan metrik baru akan dikembangkan seiring peningkatan kemampuan dan model terus diterapkan di seluruh ekonomi

Anthropic merilis laporan riset kedua tentang dampak ekonomi AI setelah peluncuran Claude 3.7 Sonnet
Laporan ini menganalisis data penggunaan Claude.ai setelah peluncuran model terbaru dan terkuat mereka, Claude 3.7 Sonnet
Dataset-nya dibuka agar bisa diunduh secara bebas

Temuan utama

Setelah peluncuran Claude 3.7 Sonnet, porsi penggunaan meningkat pada aplikasi coding, pendidikan, sains, dan medis
Mode baru "extended thinking" pada Claude 3.7 Sonnet terutama digunakan untuk pekerjaan teknis
- Terutama dimanfaatkan untuk pekerjaan yang terkait dengan peneliti ilmu komputer, pengembang perangkat lunak, animator multimedia, dan desainer video game
Data analisis bantuan/otomatisasi pada tingkat tugas dan pekerjaan dipublikasikan
- Pekerjaan yang terkait dengan copywriter dan editor menunjukkan tingkat iterasi kerja tertinggi (manusia dan model menulis bersama)
- Pekerjaan yang terkait dengan penerjemah dan juru bahasa menunjukkan tingkat tindakan direktif tertinggi (model menyelesaikan pekerjaan dengan keterlibatan manusia yang minimal)
Taksonomi bottom-up untuk penggunaan di Claude.ai pertama kali dipublikasikan
- Menyediakan dataset baru yang mencakup 630 kategori terperinci
- Klasifikasi ini diharapkan membantu mengidentifikasi use case yang bisa terlewat oleh pendekatan top-down yang ada

Perubahan setelah peluncuran Claude 3.7 Sonnet

Menganalisis 1 juta percakapan anonim Claude.ai Free dan Pro selama 11 hari setelah peluncuran
Porsi penggunaan di bidang coding, pendidikan, dan sains sedikit meningkat
Kenaikan penggunaan coding diperkirakan disebabkan oleh peningkatan skor benchmark coding Claude 3.7 Sonnet
Kenaikan pada kategori lain dapat mencerminkan penyebaran AI di seluruh ekonomi, penerapan baru coding pada domain tersebut, atau peningkatan kemampuan model yang tidak terduga

Pola penggunaan mode extended thinking

Mode extended thinking terutama digunakan dalam situasi pemecahan masalah teknis dan kreatif
Pekerjaan terkait ilmuwan riset komputer dan informasi adalah yang paling banyak, hampir 10%
Juga menunjukkan tingkat penggunaan yang signifikan pada pekerjaan terkait pengembang perangkat lunak (sekitar 8%), seniman multimedia (sekitar 7%), dan desainer video game (sekitar 6%)
Untuk riset lanjutan atas fitur model baru ini, dipublikasikan dataset yang memetakan rasio mode berpikir untuk setiap tugas

Perubahan rasio bantuan vs otomatisasi

Keseimbangan antara penggunaan bantuan dan penggunaan otomatisasi pada data baru pada dasarnya tetap tidak berubah, dengan bantuan mencakup 57%
Beberapa perubahan diamati dalam jenis otomatisasi dan bantuan
- Interaksi pembelajaran, ketika pengguna meminta informasi atau penjelasan tentang berbagai topik, meningkat dari ~23% menjadi ~28%
Pekerjaan layanan sosial menunjukkan tingkat penggunaan bantuan mendekati 75%
Pekerjaan yang terkait dengan produksi atau profesi komputer dan matematika menunjukkan rasio bantuan/otomatisasi yang mendekati 50-50%
Tidak ada kategori pekerjaan yang didominasi oleh otomatisasi

Taksonomi bottom-up

Dataset bottom-up untuk penggunaan Claude.ai dipublikasikan
Dibuat menggunakan Clio dan memakai dataset percakapan anonim yang sama
Terdiri dari 630 cluster terperinci, serta mencakup deskripsi terkait, metrik adopsi, dan analisis otomatisasi/bantuan
Terdiri dari 3 tingkat hierarki
Contoh cluster yang sangat menarik:
- Dukungan untuk sistem manajemen sumber daya air dan proyek infrastruktur
- Pembuatan simulasi berbasis fisika dengan fitur visualisasi interaktif
- Dukungan untuk pemilihan font, implementasi, dan pemecahan masalah
- Dukungan untuk pembuatan dan peningkatan materi lamaran kerja
- Pemberian panduan tentang teknologi baterai dan sistem pengisian daya

Kesimpulan dan rencana ke depan

Seiring model berkembang, pengukuran terhadap dampak ekonominya juga harus berkembang
Pada data setelah peluncuran Claude 3.7 Sonnet, terlihat kenaikan yang relatif kecil pada use case coding, pendidikan, dan sains, sementara keseimbangan bantuan/otomatisasi tidak berubah
Mode extended thinking digunakan dengan frekuensi tertinggi pada domain dan tugas teknis
Pola teridentifikasi dalam pola otomatisasi/bantuan di berbagai tugas dan pekerjaan
Dalam beberapa bulan ke depan, metrik ini akan terus dilacak dan metrik baru akan dikembangkan seiring peningkatan kemampuan dan model terus diterapkan di seluruh ekonomi