Laporan AI Index 2025

• Dampak sosial AI kini terlihat paling jelas, dan pengaruhnya bisa dibilang bersejarah
• Stanford HAI menilai AI akan menjadi teknologi transformasional terbesar abad ke-21
• Namun, mereka menekankan bahwa agar manfaat perkembangan AI dapat dirasakan merata oleh semua orang, dibutuhkan pengembangan yang memiliki arah yang jelas
• AI Index menganalisis secara objektif kemajuan teknis, dampak ekonomi, dan dampak sosial AI untuk memberikan wawasan penting bagi pembuat kebijakan dan pemimpin bisnis

1. Kinerja AI pada benchmark tingkat tinggi terus meningkat

• Pada 2023, para peneliti memperkenalkan benchmark baru untuk menguji batas kemampuan sistem AI mutakhir:
  • MMMU, GPQA, SWE-bench
• Hanya dalam satu tahun, kinerjanya meningkat drastis:
  • MMMU: +18.8%p
  • GPQA: +48.9%p
  • SWE-bench: +67.3%p
• Di luar benchmark, AI juga menunjukkan kemajuan mencolok dalam teknologi pembuatan video berkualitas tinggi
• Di beberapa lingkungan, agen berbasis language model bahkan mencatat hasil pemrograman yang lebih baik daripada manusia dalam waktu terbatas

2. AI menyebar cepat ke dalam kehidupan sehari-hari

• Dari layanan kesehatan hingga transportasi, AI telah melampaui laboratorium dan mulai terintegrasi secara nyata ke kehidupan sehari-hari
• Pada 2023, FDA AS menyetujui 223 perangkat medis berbasis AI (pada 2015 jumlahnya hanya 6)
• Mobil otonom tidak lagi sekadar eksperimen, tetapi sudah memasuki tahap komersialisasi
  • Waymo: menyediakan lebih dari 150 ribu layanan perjalanan otonom per minggu
  • Baidu: mengoperasikan layanan komersial di berbagai kota di Tiongkok melalui robotaxi Apollo Go

3. Perusahaan melakukan investasi besar-besaran dan pemanfaatan AI secara luas

• Pada 2024, investasi AI swasta di Amerika Serikat mencapai US$109,1 miliar, tertinggi di dunia
  • sekitar 12 kali Tiongkok (US$9,3 miliar), dan 24 kali Inggris (US$4,5 miliar)
• Khusus bidang generative AI saja menerima investasi US$33,9 miliar → naik 18,7% dibanding 2023
• Persentase perusahaan yang menggunakan AI juga meningkat pesat:
  • 55% pada 2023 → 78% melaporkan telah mengadopsi AI pada 2024
• Menurut hasil penelitian, AI secara umum mendorong peningkatan produktivitas serta
  • berkontribusi positif dalam mengurangi kesenjangan keterampilan antarpekerjaan

4. Amerika Serikat masih memimpin dalam produksi model AI utama, tetapi Tiongkok cepat memperkecil kesenjangan performa

• Per 2024, Amerika Serikat merilis 40 model AI utama, jauh di depan Tiongkok (15) dan Eropa (3)
• Dari sisi jumlah AS masih unggul, tetapi kesenjangan kualitas model Tiongkok menyusut dengan cepat
  • pada benchmark utama (MMLU, HumanEval), selisih dua digit pada 2023 → hampir setara pada 2024
• Tiongkok tetap berada di peringkat pertama dunia dalam jumlah makalah dan paten AI
• Pengembangan model AI juga makin terdiversifikasi ke Timur Tengah, Amerika Latin, Asia Tenggara, dan wilayah lainnya

5. Ekosistem Responsible AI (RAI) terus berkembang, tetapi belum seimbang

• Insiden dan masalah terkait AI meningkat tajam, tetapi pengembang model industri besar masih jarang menerapkan evaluasi standar RAI
• Muncul benchmark evaluasi keselamatan baru:
  • HELM Safety, AIR-Bench, FACTS → alat yang menjanjikan untuk evaluasi akurasi dan keselamatan
• Perusahaan memiliki kesadaran tinggi terhadap risiko RAI, tetapi masih lemah dalam tindakan nyata
• Di sisi lain, pemerintah mempercepat respons terhadap tata kelola AI
  • OECD, UE, PBB, Uni Afrika, dan lainnya mengumumkan kerangka kebijakan yang menekankan transparansi dan keandalan

6. Optimisme global terhadap AI meningkat, tetapi kesenjangan antardaerah masih besar

• Persentase yang menilai AI bermanfaat:
  • Tiongkok (83%), Indonesia (80%), Thailand (77%) menunjukkan mayoritas penilaian positif
  • Kanada (40%), Amerika Serikat (39%), Belanda (36%) mencatat angka yang rendah
• Namun, optimisme terus meningkat:
  • kenaikan persepsi optimistis dibanding 2022: Jerman (+10%), Prancis (+10%), Kanada (+8%), Inggris (+8%), Amerika Serikat (+4%)

7. AI berkembang ke arah yang lebih efisien, lebih murah, dan lebih mudah diakses

• Berkat peningkatan performa model kecil, biaya inferensi model setingkat GPT-3.5 turun 280 kali lipat dari November 2022 hingga Oktober 2024
• Dari sisi hardware:
  • biaya tahunan turun 30%
  • efisiensi energi meningkat 40%
• Model open-weight juga mengalami peningkatan performa yang pesat
  • pada beberapa benchmark, selisih performa dengan model tertutup menyusut dari 8% → 1,7%
• Semua faktor ini dengan cepat menurunkan hambatan masuk terhadap teknologi AI canggih

8. Pemerintah berbagai negara mulai serius dalam regulasi dan investasi AI

• Pada 2024, lembaga federal AS mengumumkan 59 regulasi terkait AI
  • meningkat lebih dari dua kali lipat dibanding 2023, dan jumlah lembaga terkait juga bertambah dua kali lipat
• Penyebutan legislasi terkait AI di 75 negara meningkat 21,3%
  • 9 kali lebih banyak dibanding 2016
• Contoh investasi pemerintah utama:
  • Kanada: US$2,4 miliar, Tiongkok: dana semikonduktor US$47,5 miliar
  • Prancis: €109 miliar, India: US$1,25 miliar
  • Arab Saudi: investasi US$100 miliar melalui Project Transcendence

9. Pendidikan AI dan ilmu komputer makin meluas, tetapi masih ada masalah akses dan kesiapan

• Dua pertiga negara di dunia sudah menjalankan atau merencanakan pendidikan ilmu komputer K–12
  • dua kali lebih banyak dibanding 2019
  • kemajuan tercepat terjadi di Afrika dan Amerika Latin
• Jumlah lulusan sarjana bidang komputer di AS naik 22% dalam 10 tahun
• Namun, karena kekurangan infrastruktur dasar (seperti listrik), beberapa wilayah di Afrika masih sulit mengaksesnya
• Di antara guru ilmu komputer K–12 di AS, 81% menilai AI adalah elemen pendidikan yang esensial, tetapi
  • kurang dari setengahnya menyatakan siap benar-benar mengajarkan AI

10. Industri memimpin pengembangan AI, tetapi persaingan makin ketat

• Pada 2024, sekitar 90% model AI utama dikembangkan oleh industri (pada 2023 angkanya 60%)
• Sementara itu, riset AI yang paling banyak dikutip masih berasal dari akademia
• Skala model terus membesar:
  • komputasi pelatihan berlipat ganda setiap 5 bulan
  • dataset berlipat ganda setiap 8 bulan
  • penggunaan daya listrik meningkat dua kali lipat setiap tahun
• Namun, kesenjangan performa justru cenderung menyempit:
  • selisih skor antara model peringkat 1 dan 10: 11,9% → 5,4%
  • selisih antara model peringkat 1 dan 2: hanya 0,7%
• Ini menunjukkan lingkungan pengembangan AI yang sangat kompetitif dan semakin kompleks

11. AI mendapatkan pengakuan tertinggi di dunia sains

• AI baru-baru ini diakui sebagai teknologi inti di balik riset pemenang Nobel
  • masing-masing mendapat penghargaan untuk teknologi deep learning (bidang fisika) dan aplikasi prediksi struktur protein (bidang kimia)
• Selain itu, Turing Award juga diberikan atas kontribusi terobosan di bidang reinforcement learning
• Hal ini menunjukkan bahwa dampak ilmiah AI mulai diakui secara resmi di berbagai disiplin akademik utama

12. Penalaran kompleks masih menjadi tantangan besar bagi AI

• AI menunjukkan hasil yang sangat baik dalam menyelesaikan soal setingkat Olimpiade Matematika Internasional
• Namun, pada benchmark penalaran kompleks seperti PlanBench, AI masih mengalami kesulitan
• Meskipun jawaban yang benar sebenarnya jelas tersedia, AI sering gagal menyelesaikan masalah logika secara konsisten
• Karena itu, efektivitas AI masih memiliki keterbatasan di bidang berisiko tinggi yang menuntut akurasi

[GN⁺]

Komentar Hacker News

• Data dalam laporan ini disediakan sebagai file CSV di Google Drive, sehingga bisa diubah menjadi database SQLite dan dijelajahi dengan Datasette Lite
  • Tabel yang paling menarik menunjukkan contoh bias pada berbagai model
• Telah memposting sanggahan di Substack terhadap poin 11 (AlphaFold3 vs Vina, Gnina, dll.)
  • Gnina adalah hasil Vina yang dievaluasi ulang dengan jaringan saraf, jadi kekhawatiran yang sama tetap berlaku
  • Saya optimistis terhadap AI, tetapi perbandingan kali ini keliru
  • Diperlukan metode yang bisa digeneralisasi ke kandidat obat baru, tetapi evaluasinya dilakukan pada dataset yang berulang
• Saya sering melihat laporan yang mengatakan AI lebih unggul daripada manusia, tetapi belum pernah mendapat bantuan untuk memecahkan masalah sehari-hari
  • Saya memberi Claude ratusan baris kode dan lokasi masalahnya, tetapi tetap tidak bisa menyelesaikannya
  • LLM cenderung terpaku pada keluaran tertentu
  • Mirip seperti pencarian Google, meskipun mencoba pencarian yang spesifik, hasil yang dikembalikan tetap sama
• Mengejutkan bahwa tidak ada bab tentang dampak lingkungan
  • Di Eropa, khususnya Prancis, ini adalah salah satu poin utama kritik terhadap penggunaan AI
  • Termasuk pencurian karya seni, penghancuran lapangan kerja, kemudahan membuat misinformasi, dan kondisi kerja pelatih AI di negara berpendapatan rendah
  • Secara pribadi saya tidak menentang AI, ini hanya daftar poin yang sering saya lihat di feed
• Setiap bab tersedia sebagai PDF terpisah, dan laporan lengkapnya berjumlah 456 halaman
• "Performa AI pada benchmark yang sulit terus meningkat"
  • Rasanya semakin banyak model AI yang disetel agar cocok dengan benchmark otoritatif ini
• Ada pertanyaan mengapa situs web membuat gambar sulit dibuka di tab baru
  • Jika URL-nya disalin, tautannya mengarah ke gambar noise, tetapi gambar asli bisa diunduh dari AWS S3
  • Muncul pertanyaan apakah ini dimaksudkan untuk menakut-nakuti pengguna nonteknis
• Laporan AI Stanford terdahulu cukup berbobot dan kritis
  • Laporan sekarang tampak seperti banyak siaran pers kecil yang digabung menjadi satu
  • AI telah berpindah dari universitas ke perusahaan, dari makalah riset ke siaran pers
  • Siaran pers OpenAI terkait GPT hanya mencantumkan statistik tanpa informasi yang berguna
• Saya yakin standar hidup akan meningkat
  • Produktivitas akan naik karena kita bisa bekerja lebih efektif dalam waktu yang sama dan biaya akan menjadi lebih murah
  • Saya tidak yakin bagaimana efek ini akan terlihat di pasar saham
• AS masih menghasilkan model AI terbaik, tetapi China sedang memperkecil kesenjangan performa
  • Sebagian besar peneliti fokus membuat hal-hal keren bersama orang-orang pintar, bukan pada negara
  • Saya tidak ingin perang dengan satu-satunya kekuatan manufaktur di dunia
  • Akan bagus jika AS serius dalam R&D pada persaingan AI dengan China, tetapi saya tidak menginginkannya