Bencana Besar AI: 80% Proyek Gagal dan Miliaran Dolar Terbuang
(salesforcedevops.net)- Laporan baru dari RAND menunjukkan bahwa meskipun hype seputar AI sangat besar, sebagian besar proyek tetap gagal
- RAND: salah satu think tank terkemuka di Amerika Serikat. Namanya berarti R&D. Didirikan oleh Douglas Aircraft pada tahun 1948
- Laporan ini, yang didasarkan pada wawancara dengan 65 ilmuwan data dan insinyur berpengalaman, mengungkap akar penyebab kegagalan tersebut dan menyajikan peta jalan menuju keberhasilan
Kegagalan kepemimpinan: orang buta menuntun orang buta
- Penyebab terbesar kegagalan proyek AI bukanlah teknologi, melainkan eksekutif puncak
- Para eksekutif sering salah memahami atau salah mengomunikasikan masalah apa yang harus diselesaikan dengan AI
- Mereka memiliki ekspektasi berlebihan terhadap AI dan meremehkan waktu serta sumber daya yang dibutuhkan untuk implementasi AI yang berhasil
- Karena kurangnya komunikasi yang jelas dan pemahaman atas tujuan proyek antara manajemen dan tim teknis, banyak inisiatif AI sudah ditakdirkan gagal sejak awal
- Banyak organisasi tidak memiliki kesabaran yang dibutuhkan untuk implementasi AI yang sukses. Proyek sering dihentikan di tengah jalan atau dialihkan ke prioritas baru bahkan sebelum sempat membuktikan nilai nyatanya
Dilema data: sampah masuk, sampah keluar
- Kualitas data muncul sebagai hambatan terpenting kedua: "80% dari AI adalah pekerjaan kotor data engineering"
- Banyak organisasi tidak memiliki cukup data berkualitas tinggi untuk melatih model AI secara efektif
- Dataset lama mungkin tidak cocok untuk pelatihan AI
- Kekurangan data engineer menyebabkan hilangnya pengetahuan dan meningkatnya biaya proyek
- Kurangnya keahlian domain di dalam tim AI dapat menyebabkan salah tafsir data dan cacat dalam desain model
Mengejar benda mengilap: ketika insinyur kehilangan fokus
- Para insinyur sendiri juga terkadang berkontribusi pada kegagalan proyek
- Banyak ilmuwan data dan insinyur tergoda memakai kemajuan teknologi terbaru, meskipun solusi yang lebih sederhana sebenarnya sudah memadai
- Kecenderungan mengejar "benda mengilap" ini dapat menghasilkan solusi yang rumit tanpa perlu, sulit dipelihara, dan sulit dijelaskan kepada para pemangku kepentingan
- Organisasi harus menyeimbangkan inovasi dan kepraktisan. Mengikuti perkembangan teknologi memang penting, tetapi fokus utama harus pada penyelesaian masalah bisnis nyata secara efektif
Infrastruktur: fondasi yang tidak glamor untuk meraih keberhasilan
- Kurangnya investasi infrastruktur muncul sebagai faktor besar lain di balik kegagalan proyek AI
- Banyak perusahaan mencoba memulai proyek AI tanpa lebih dulu menyiapkan fondasi yang diperlukan
- Organisasi perlu memiliki pandangan yang lebih menyeluruh terhadap implementasi AI. Ini berarti berinvestasi pada data pipeline yang kokoh, sistem pengujian dan deployment otomatis, serta alat untuk memantau kinerja model di production
- Banyak organisasi kesulitan beralih dari prototipe AI yang berhasil ke sistem yang siap production. Masalah "last mile" ini sering menggagalkan proyek yang sebenarnya menjanjikan
Rekomendasi: pemeriksaan realitas untuk ambisi AI
- Laporan RAND memberikan rekomendasi berikut agar organisasi dapat meningkatkan tingkat keberhasilan proyek AI:
- Pastikan staf teknis memahami tujuan proyek dan konteks bisnis. Laporan tersebut mencatat, "Salah paham dan miskomunikasi mengenai niat serta tujuan proyek adalah alasan paling umum kegagalan proyek AI." Untuk itu dibutuhkan dialog berkelanjutan antara tim bisnis dan tim teknis, serta upaya membangun pemahaman dan istilah yang sama.
- Pilih masalah yang berkelanjutan. "Sebelum memulai proyek AI, para pemimpin harus siap memastikan setiap tim produk berkomitmen untuk memecahkan masalah tertentu setidaknya selama satu tahun." Rekomendasi ini membantah kecenderungan mengejar hasil cepat atau terus mengganti prioritas. Dengan berfokus pada masalah jangka panjang yang berdampak besar, organisasi dapat memberi inisiatif AI waktu dan sumber daya yang dibutuhkan untuk berhasil.
- Fokus pada masalah, bukan teknologinya. "Mengejar teknologi AI terbaru demi teknologi itu sendiri adalah salah satu jalur paling sering menuju kegagalan." Laporan ini menekankan pentingnya memilih alat yang tepat untuk tugas yang dihadapi, meskipun itu bukan solusi yang paling mutakhir. Ini mungkin menuntut perubahan dalam cara organisasi menilai dan memberi penghargaan kepada tim teknis.
- Berinvestasi pada infrastruktur. "Investasi awal pada infrastruktur untuk mendukung data governance dan deployment model dapat secara signifikan mempersingkat waktu yang dibutuhkan untuk menyelesaikan proyek AI." Investasi semacam ini mungkin tidak seglamor riset AI, tetapi sangat penting untuk keberhasilan jangka panjang. Ini mencakup pembangunan data pipeline yang kokoh, penerapan version control untuk model dan data, serta pengembangan sistem untuk memantau dan memelihara solusi AI yang telah di-deploy.
- Pahami keterbatasan AI. "AI bukan tongkat sihir untuk menyelesaikan masalah sulit. Dalam beberapa kasus, bahkan model AI paling canggih pun tidak dapat mengotomatisasi tugas yang sulit." Laporan ini menyerukan penilaian yang lebih realistis atas apa yang bisa dan tidak bisa dilakukan AI, serta mendorong organisasi untuk menurunkan ekspektasi dan fokus pada area tempat AI benar-benar dapat menciptakan nilai.
Perspektif akademik: terbitkan paper atau lenyap
- Studi ini juga meneliti riset AI di dunia akademik dan menemukan bahwa tekanan untuk menerbitkan paper serta mengejar reputasi sering kali mengalahkan aplikasi nyata
- "Jika proyek AI tidak menghasilkan publikasi paper, maka itu tidak dianggap sebagai keberhasilan," catat laporan tersebut, menyoroti ketidaksesuaian antara insentif akademik dan dampak di dunia nyata
- Pendekatan yang berpusat pada publikasi paper ini dapat membuat peneliti lebih memprioritaskan pendekatan yang baru tetapi tidak realistis daripada perbaikan bertahap yang bisa memberi dampak besar di dunia nyata
- Laporan itu menyarankan agar institusi akademik mempertimbangkan perluasan kriteria keberhasilan dalam riset AI, dengan memasukkan metrik yang berkaitan dengan aplikasi praktis atau kolaborasi industri
- Studi ini juga menemukan bahwa banyak peneliti akademik kesulitan mengakses dataset dunia nyata berkualitas tinggi. Hal ini dapat memperlebar jurang antara riset akademik dan aplikasi praktis
- Laporan tersebut mendorong peningkatan kolaborasi antara akademisi, industri, dan lembaga pemerintah untuk memberi peneliti akses ke data yang lebih relevan sambil tetap menjaga langkah privasi dan keamanan yang diperlukan
Alarm peringatan bagi industri AI
- Laporan RAND ini menjadi pemeriksaan realitas yang sangat dibutuhkan bagi industri AI
- Potensi AI tetap sangat besar, tetapi jalan menuju implementasi yang berhasil dipenuhi tantangan
- Organisasi harus menjembatani kesenjangan antara hype dan realitas, serta fokus pada fondasi yang kokoh seperti kualitas data, infrastruktur, dan komunikasi yang jelas antara tim teknis dan bisnis
- Seperti dicatat dengan bijak oleh salah satu responden wawancara, "Para pemangku kepentingan ingin terlibat dalam proses. Mereka tidak suka ketika Anda berkata, 'Ini memakan waktu lebih lama dari yang diperkirakan, jadi kami akan menghubungi Anda lagi dalam dua minggu.' Mereka penasaran." Ini menegaskan perlunya komunikasi yang berkelanjutan dan transparan sepanjang proyek AI agar semua pemangku kepentingan tetap mendapat informasi dan tetap terlibat
- Laporan ini juga menekankan pentingnya kesabaran dan ketekunan dalam pengembangan AI. Hasil cepat jarang terjadi, dan organisasi harus siap berupaya dalam jangka panjang untuk memperoleh manfaat nyata dari inisiatif AI. Ini mungkin menuntut perubahan budaya organisasi dan ekspektasi, menjauh dari pola pikir jangka pendek menuju pandangan implementasi AI yang lebih strategis dan jangka panjang
- Dengan menerima pelajaran-pelajaran ini dan mengadopsi pendekatan pengembangan AI yang lebih realistis dan sabar, organisasi dapat meningkatkan peluang keberhasilan mereka di bidang yang transformatif ini
"Masa depan AI memang cerah, tetapi hanya bagi mereka yang mampu menavigasi tantangan-tantangan yang sangat manusiawi di jalannya. Seiring industri ini makin matang, mereka yang mampu menyeimbangkan inovasi dan kepraktisan serta menggabungkan keunggulan teknis dengan naluri bisnis akan berada pada posisi terbaik untuk memanfaatkan potensi sejati AI."
6 komentar
Jika perusahaan mampu menanggung kegagalan...
Pada akhirnya, yang mampu bertahanlah yang menang.
Postingannya sangat relate ^^ Kalau boleh sedikit mengoreksi... dalam konteks ini, 'Publish' rasanya lebih natural diterjemahkan sebagai 'mempublikasikan makalah' daripada 'menerbitkan'.
Seseorang yang cerdas sudah sejak lama mengajukan pertanyaan yang sangat mendasar...
Apakah ini akan menghasilkan uang?
Perusahaan ingin cepat menghasilkan keuntungan, dan hanya menjual embel-embel AI ini-itu sekadar nama; sementara ekspektasi pengguna kemungkinan adalah hasil dari investasi setidaknya lebih dari 10 tahun... memang sulit..
Kalau membayangkan angka-angka laporan keuangan ngawur yang dibuat oleh LLM disampaikan secara keliru kepada para investor, manajer yang rasional seharusnya tidak akan segitu antusiasnya terhadap LLM. Menurut saya, bagi sebagian orang yang tetap keras kepala tidak peduli sudah dijelaskan berkali-kali, pengalaman yang memalukan akan menjadi obat yang manjur.
Komentar Hacker News
Laporan RAND: berisi pernyataan bahwa "para pemangku kepentingan industri salah memahami atau salah menyampaikan masalah yang harus diselesaikan dengan AI"
Masalah kegagalan investasi: masalahnya bukan 80% yang gagal, melainkan apakah beberapa black swan dari 20% sisanya dapat membuat seluruh portofolio investasi menjadi menguntungkan
Tautan Laporan Rand: Rand Report
Masalah penyalahgunaan AI: perusahaan sering memberi instruksi "sisipkan AI di mana saja"
Tingkat keberhasilan startup: aturan 80/20 lebih baik daripada kenyataan bahwa 90% startup gagal dalam 3 tahun
Sejarah berulang: ada kasus DART yang diperkenalkan pada 1991 dan hingga 1995 berhasil menutup biaya pendanaan riset AI DARPA
Masalah fitur AI: fitur AI tetap dipertahankan karena para eksekutif terlalu terobsesi dengan AI
Tingkat keberhasilan R&D: pada teknologi terdepan, 20% proyek yang berhasil bisa jadi merupakan hasil yang cukup baik
AI menggantikan coding: ada pandangan skeptis terhadap klaim bahwa AI akan menggantikan coding
Situs web down: situs Wordpress tumbang karena tidak mampu menangani trafik HN