- Deloitte melakukan pengembalian dana sebagian kepada pemerintah Australia setelah menyerahkan laporan senilai $440 ribu yang dibuat dengan bantuan AI generatif dan berisi kesalahan
- Laporan tersebut ditujukan untuk meninjau kerangka kepatuhan dan sistem TI dalam sistem kesejahteraan, dan ditemukan berbagai kesalahan serta masalah kutipan palsu dan rujukan ke materi fiktif
- Deloitte menyatakan dalam lampiran laporan bahwa mereka menggunakan model bahasa besar seperti Azure OpenAI GPT–4o, tetapi tidak mengakui bahwa AI adalah penyebab langsung kesalahan tersebut
- Seorang senator Partai Buruh mengkritik peran AI yang dinilai besar dalam laporan itu, dengan mengatakan keahlian perusahaan konsultan tersebut tidak memadai
- Meski laporan final telah diperbaiki, isi inti dan kesimpulannya tidak berubah, dan rekomendasinya tetap dipertahankan
Deloitte mengembalikan dana terkait penggunaan AI ke pemerintah Australia
Ringkasan kejadian
- Deloitte memutuskan untuk mengembalikan sebagian pembayaran setelah mengakui menggunakan AI generatif dalam penyusunan laporan pemerintah senilai $440 ribu, yang kemudian diketahui mengandung kesalahan
- Laporan tersebut disusun atas permintaan Departemen Ketenagakerjaan dan Hubungan Kerja Australia (DEWR) untuk meninjau sistem otomatisasi kepatuhan penerima tunjangan kesejahteraan
- Laporan itu menyoroti sejumlah masalah, termasuk kurangnya keterkaitan antara aturan dalam kerangka kerja dan hukum yang berlaku, serta cacat mendasar pada sistem TI
Penggunaan AI dan masalah yang muncul
- Setelah pertama kali dipublikasikan pada 4 Juli, media menyoroti berbagai kesalahan dan kutipan yang tidak ada dalam laporan tersebut
- Menurut Dr. Christopher Rudge dari University of Sydney, laporan itu memperlihatkan beberapa contoh "hallucination" AI yang umum, yakni ketika sistem menghasilkan referensi atau materi yang sebenarnya tidak ada
- Misalnya, dalam versi laporan yang lebih baru, jumlah kutipan palsu justru bertambah, yang mengisyaratkan bahwa beberapa kesimpulan dihasilkan AI alih-alih bersandar pada sumber nyata
- Deloitte menambahkan dalam lampiran laporan yang diperbarui bahwa mereka menggunakan model bahasa besar seperti Azure OpenAI GPT–4o
- Disebutkan bahwa rangkaian alat tersebut dijalankan berbasis lisensi di lingkungan Azure milik DEWR
- Namun, Deloitte tidak mengakui secara langsung bahwa masalah pada laporan awal disebabkan oleh AI
Reaksi dan tindak lanjut
- Senator Partai Buruh Deborah O’Neill mengkritik dengan mengatakan bahwa "Deloitte dapat dikatakan sedang mengalami kekurangan keahlian manusia, dan pengembalian dana sebagian adalah permintaan maaf yang tidak memadai atas pekerjaan yang buruk"
- Ia juga menegaskan bahwa pemerintah dan pemberi kerja membutuhkan pakar nyata serta pembuktian bahwa pekerjaan tidak bergantung pada AI
- Ia bahkan menyindir bahwa "lebih baik berlangganan ChatGPT daripada memakai perusahaan konsultan"
- Menurut investigasi media, laporan tersebut memuat rincian palsu yang spesifik, termasuk kutipan laporan penelitian universitas yang tidak ada dan ringkasan putusan pengadilan yang tidak sesuai fakta
- Contoh: ringkasan palsu terkait penelitian University of Sydney, makalah profesor Lund University, dan putusan kasus Robodebt (Deanna Amato v Commonwealth)
Sikap resmi dan dampaknya
- Deloitte menyatakan telah menyelesaikan persoalan ini langsung dengan DEWR, sambil menekankan bahwa kesimpulan dan rekomendasi dalam laporan yang diperbarui tidak berubah
- DEWR juga menyatakan bahwa mereka hanya memperbaiki beberapa catatan kaki dan kutipan yang kurang tepat, sementara rekomendasi keseluruhan dan isi utama tetap dipertahankan
- Sejumlah pakar menilai bahwa meski kesimpulan umum laporan itu sejalan dengan bukti yang ada, kredibilitas laporan tersebut tetap dipertanyakan
Implikasi
- Kasus ini menyoroti secara sosial tuntutan akan transparansi dalam penggunaan AI generatif di industri konsultansi serta jaminan atas keahlian profesional
- Pihak pemberi tugas kini makin menyadari perlunya memperkuat proses verifikasi atas penggunaan AI dan identitas nyata para ahli yang terlibat
1 komentar
Komentar Hacker News
Sebagai tambahan konteks, laporan ini membahas sistem TI bermasalah yang menjatuhkan denda keliru kepada penerima bantuan pemerintah dengan alasan mereka tidak memenuhi persyaratan pencarian kerja, sampai merusak hidup mereka. Denda itu langsung ditetapkan dalam bentuk putusan utang, sehingga penagih utang benar-benar datang ke rumah dan menyita barang. Bahkan karena cacat serius pada sistem tersebut, denda juga salah dijatuhkan kepada orang-orang yang sama sekali tidak pernah menerima bantuan pemerintah. Dalam situasi seperti ini, pemerintah membayar Deloitte sebesar 440 ribu dolar untuk menyusun laporan, tetapi mereka malah menggunakan AI untuk membuatnya dan justru menyisakan lebih banyak kesalahan. Ada kekhawatiran bahwa jika pembangunan sistemnya juga diserahkan ke Deloitte, kasus seperti Royal Mail dan Fujitsu akan terulang lagi
Ada kekhawatiran penyalahgunaan AI seperti ini akan berkembang menjadi persoalan hidup dan mati yang nyata. Orang-orang di Deloitte bukan tidak tahu atau tidak punya motivasi, melainkan kelompok yang hanya mengejar uang, sehingga mereka memakai AI untuk sekadar memenuhi persyaratan lalu pindah ke kontrak berikutnya. Akibatnya, hidup banyak orang bisa hancur atau bahkan berujung pada tindakan ekstrem. Ini bukan sekadar manipulasi dokumen, tetapi masalah yang bisa membuat orang bersenjata benar-benar datang ke rumah
Bahkan tidak perlu dibayangkan, masalah seperti ini sudah pernah terjadi. Lihat kasus kebocoran data Deloitte Rhode Island
Kalau lewat Deloitte saja sudah terasa merepotkan, sebaiknya langsung serahkan saja ke OpenAI
Alasan kenapa ini bermasalah sejak awal adalah karena besar kemungkinan Deloitte juga dipakai saat membangun sistem aslinya
Mumpung membahas masalah konsultan/outsourcing, saya juga ingin menyinggung pergantian tim A/tim B. Awalnya orang yang tampak sangat kompeten datang saat konsultasi untuk memenangkan kontrak, tetapi begitu kontraknya jadi, orang itu pindah ke medan penjualan lain, lalu yang muncul malah anggota tim B atau bahkan tim C
Dalam pengalaman saya, pada kontrak layanan besar, tim A membujuk kami di awal hingga kontrak jadi, tetapi pekerjaan sebenarnya dikerjakan tim B. Begitu perhatian kami mulai menurun, mereka menggantinya lagi dengan tim Z. Bahkan ketika kami bilang rela membayar lebih terus-menerus demi kualitas, pada akhirnya mereka tetap serakah sampai kehilangan kontraknya sendiri
Semakin besar skala timnya, semakin sering ada satu orang top-tier yang berkeliling ke 100 tim, muncul sebentar untuk menenangkan klien saat marah, lalu menghilang lagi. Sisanya semua level pemula, atau sekarang bahkan lebih sedikit ahli karena dibantu AI. Klien saya pernah mengeluarkan 500 ribu dolar untuk sebuah proyek dan mengira selama beberapa bulan uang itu dibayarkan ke 15 orang, tetapi setelah diwawancarai lewat Zoom, hanya 1 dari 15 orang yang benar-benar tahu soal proyek itu. Orang itu adalah tech lead yang direkrut di awal dan bahkan hanya terlibat paruh waktu. Dari kualitas kodenya terlihat sekitar 5 orang lainnya hanya menyalin-tempel kode dari codex atau claude, melewatkannya ke 'QA palsu', lalu langsung deploy. Hal seperti ini sudah ada bahkan sebelum AI, bedanya dulu benar-benar ada 15 junior yang ngoding sembarangan
Ini benar-benar lelucon yang sangat pas menggambarkan zaman sekarang, lihat komik Dilbert
Itulah keseluruhan permainan ini. Bertemu partner, lalu yang datang akhirnya para junior, tetapi Anda membayar dengan tarif setingkat partner. Bahkan kalau sial, Anda juga harus ikut melatih para junior itu sendiri
Kalau mau bicara positif, salah satu alasan memakai consulting/outsourcing adalah karena ada proyek besar sekali jalan yang tidak mungkin ditangani hanya oleh staf internal. Daripada merekrut banyak freelancer satu per satu lalu membentuk tim, sering kali lebih efisien memakai tim eksternal yang sudah terbentuk untuk jangka pendek. Dalam praktiknya, firma konsultasi pun kadang mengumpulkan orang dari luar secara ad hoc lalu menampilkannya seolah-olah sebagai satu tim
Saya penasaran apakah ada yang bisa menjelaskan bagaimana dan kenapa consulting bisa berjalan. Kalau hanya individu yang pada dasarnya cuma bisa memberi 'nasihat', dia akan dianggap gagal, tetapi kalau dibungkus jadi perusahaan justru korporasi dan pemerintah antre meminta nasihat. Padahal pegawai internal biasanya jauh lebih paham kondisi perusahaannya daripada konsultan luar. Saya tidak paham kenapa orang luar yang kerjanya presentasi dan googling justru lebih dipercaya dan dibayar mahal
Sebenarnya, ketika ingin memaksakan ide buruk yang tidak ingin dipertanggungjawabkan, mereka menyewa konsultan dan mengulanginya sampai keluar jawaban yang diinginkan. Kualitas konsultannya tidak penting, diganti intern atau AI pun cukup. Kalau hasilnya gagal, kesalahannya bisa dilempar ke konsultan. Staf internal memberi saran demi kepentingan perusahaan, tetapi suaranya ditekan atau diabaikan demi kepentingan pribadi. Saat masalah terungkap, orangnya biasanya sudah pindah kerja dan tinggal menambah satu baris di resume
Nyatanya, banyak perusahaan besar yang memang sama sekali tidak punya keahlian internal. Selain itu, sering ada satu orang yang pura-pura jadi ahli dan menghalangi perekrutan orang yang lebih baik. Konsultan yang bagus memberi saran tentang apa yang harus dilakukan lengkap dengan buktinya, dan bila perlu juga mengeksekusi per proyek. Konsultan TI yang benar-benar bagus punya beberapa skillset langka yang jumlahnya bisa dihitung dengan jari di dalam negeri, sehingga perusahaan keberatan mempekerjakannya full-time, tetapi sangat layak membayarnya beberapa jam per bulan sebagai tenaga eksternal. Sebaliknya, firma konsultasi besar hanya hidup untuk penjualan dan memperlakukan pengambil keputusan seperti VIP. Perjalanan dinas, alkohol, hiburan malam, dan latar belakang semacam itu juga ikut berperan. Saya pernah memberi nasihat untuk suatu proyek dan secara terbuka membantah logika penjualan konsultannya soal Dynamics CRM dan Sharepoint di depan klien
Consulting bukan sekadar 'nasihat'. Dalam praktiknya, ia mencakup banyak pekerjaan nyata seperti implementasi perangkat lunak. Semakin besar perusahaannya, semakin mereka menginginkan 'jaminan hukum'. Jika proyek gagal, harus jelas siapa yang bisa digugat. 'Kualitas' hasil dibandingkan dengan jaminan hukum itu menjadi urusan sekunder. Peran itulah yang dijalankan firma konsultasi. Mereka punya banyak tenaga kerja, termasuk banyak pegawai baru. Jika kualitas kurang, mereka tinggal menambah lebih banyak orang atau memaksa lembur. Karena struktur seperti ini, mereka juga disebut 'meatfarm'. Mereka juga tidak mudah bangkrut. Pengembangan perangkat lunak pun dijalankan lewat subkontrak bertingkat atau outsourcing ke luar negeri sambil mengambil fee berulang kali. Pekerjaannya sendiri sulit, membosankan, dan penuh kerja receh. Kontraknya pun sangat detail, seperti novel satu jilid. Saat saya masih junior di Accenture, saya pernah melihat estimasi 3000 euro hanya untuk mengganti warna scrollbar sebuah website, padahal pegawai di India cukup mengerjakannya dengan 10 baris kode. Setelah itu saya pindah kerja
Secara teori, memang ada orang-orang yang punya kemampuan memecahkan masalah unik atau pengalaman domain yang sangat khusus. Mengumpulkan talenta seperti itu dalam sebuah perusahaan lalu menjualnya dengan premium adalah model yang masuk akal. Salah jika menganggap semua firma konsultasi sama sekali tidak punya kemampuan nyata. Bukan cuma ada 'konsultasi manajemen'; ada juga tech consulting, keamanan, dan bidang lain yang benar-benar memerlukan keahlian. Saya juga sering melihat kasus yang tidak bisa diselesaikan oleh tenaga internal atau justru disebabkan oleh tenaga internal. Konsultan yang baik akan menggali sebanyak mungkin insight tersembunyi dari staf internal dan memakainya untuk menyelesaikan masalah. Kemampuan seperti penggalian kebutuhan dan komunikasi dengan manajer juga tumpang tindih dengan keterampilan software engineer
Contoh penggunaan consulting yang saya lihat di lapangan seperti ini
Organisasi seperti pemerintah umumnya mengabaikan pendapat engineer internal, lalu malah membayar jutaan untuk menyewa konsultan luar demi mendengar kesimpulan yang sama, atau sekadar untuk menunjukkan bahwa 'kami sedang melakukan sesuatu untuk mencari solusi'. Kadang ini juga karena manajemen tidak percaya pada tenaga internal, atau ingin hasil cepat tanpa mengalihkan tim dari pekerjaan utamanya. Sebagian lagi termotivasi oleh pencitraan yang tidak perlu, atau bahkan fee perkenalan dan transaksi belakang layar
Karena orang dalam perusahaan bisa sekaligus menjadi pihak yang terlibat dalam masalah dan penilai atas masalah itu, memakai konsultan eksternal tidak selalu merupakan pilihan yang buruk. Sudut pandang independen yang mungkin sedikit salah paham pun kadang tetap berguna karena bebas kepentingan
Orang sering melewatkan peran penting consulting sebagai alat untuk menyebarkan tanggung jawab hukum dan tanggung jawab atas hasil
Ini semacam 'teater due diligence'. Khususnya para eksekutif ingin tahu apa yang akan direkomendasikan engineer di perusahaan pesaing, dan konsultan berusaha berperan sebagai perwakilan dari nasihat terbaik itu
Cara singkat menyebutnya adalah 'pencucian keputusan'. Konsultan eksternal dipakai ketika ingin memberi legitimasi pada arah yang sebenarnya sudah diputuskan secara internal. Bahkan para CEO mengakuinya dalam percakapan santai
Kalau semuanya berantakan, direktur bisa bilang, "Kami mengikuti rekomendasi Deloitte," dan menghindari tanggung jawab. Itu jelas jauh lebih kuat sebagai tameng daripada berkata, "Bob dari tim IT yang bilang begitu"
Saya lulusan MBA yang nyaris masuk industri consulting, tetapi kemudian sadar dan beralih menjadi software engineer. Dalam proyek consulting, pelanggan yang sesungguhnya secara realistis adalah 'eksekutif'
Saya pernah diperkenalkan pada semacam asisten yang tugasnya seperti "Apa yang akan Elon lakukan?" Para eksekutif ingin tahu bagaimana pesaing mereka—atau pesaing imajiner—akan mengambil keputusan berdasarkan informasi yang sama. Pada saat yang sama, mereka juga ingin mempertimbangkan penilaian si perantara konsultasi itu sendiri
Ini sangat berbeda tergantung industri dan wilayah. Di beberapa perusahaan besar tempat saya pernah bekerja, klien consulting bukan eksekutif, melainkan level manajer menengah yang berjarak beberapa lapis dari jajaran eksekutif
Intinya adalah riset ringan + menyampaikan apa yang ingin didengar. Dalam hal ini, AI adalah peluang untuk mengguncang pasar consulting
Dalam proses ini, perbedaan antara 'client' dan 'customer' juga penting
Menipu pemerintah Australia dan menyalahgunakan uang pajak pun hasilnya hanya pengembalian sebagian
Kasus Craig Wright adalah contohnya; dia terkenal sebagai peniru Satoshi. Bahkan sebelum penipuan Bitcoin, dia sudah melakukan penipuan pengembalian PPN dan pajak R&D senilai jutaan dolar, lalu tertangkap saat mencoba menipu puluhan juta dolar. Dia kabur dari Australia, mengembalikan sebagian, dan tetap hidup nyaman di luar negeri tanpa hukuman berarti
Pada praktiknya memang hampir pasti akan seperti ini. Jika 1 dari 10 orang melakukan penipuan, mustahil menagih kembali seluruhnya. Akhirnya hanya ditagih 'biaya + kerugian'. Jika prinsipnya harus selalu menarik kembali seluruh jumlah, kontraknya akan menjadi lebih panjang daripada pekerjaan yang sebenarnya
Kasus ini pada dasarnya bukan masalah AI, melainkan lebih merupakan kegagalan pengawasan dalam penyusunan laporan. Peran consulting eksternal adalah memastikan hasil investigasi dapat bertahan terhadap pemeriksaan publik, dan dalam hal ini mereka gagal total. Yang mengejutkan, meski performanya seburuk ini, konsekuensinya hanya pengembalian sebagian dan tidak ada evaluasi ulang menyeluruh terhadap kontrak saat ini maupun masa depan. Entah kesalahan laporan itu disebabkan AI atau konsultan yang begadang semalaman, konsekuensinya seharusnya tidak berubah
Para CEO salah paham mengira GenAI akan menggantikan tenaga kerja, padahal kenyataannya para klien juga hanya mau membayar jauh lebih murah untuk hasil yang dibuat GenAI. Pada akhirnya efek penghematannya hilang. Sekarang yang tersisa adalah lingkaran setan margin lebih rendah, kualitas menurun, dan harga turun
Menambahkan itu, klien sebenarnya membayar untuk 'manusia yang bertanggung jawab dan menyelesaikan tugas'. AI tidak punya kapasitas untuk bertanggung jawab, jadi tidak ada nilai untuk membayar laporan seperti ini
Terkait hal itu, di era pasca-AI jalan sukses adalah menghasilkan lebih banyak output dengan jumlah orang yang sama—atau bahkan lebih banyak orang. Berkat AI, otomatisasi menjadi umum dan nilai tiap pekerjaan turun, jadi bertahan hidup bukan soal sekadar mengurangi jumlah karyawan. Justru standar baru harus dinaikkan ke level 'skala dan kualitas' yang dulu tidak mungkin dicapai
"Membuat nilai layanan mendekati nol sambil menciptakan nilai baru" adalah pola pikir seperti ini
Laporan ini sendiri membahas kebijakan yang bisa membuat penganggur kehilangan tunjangan jika gagal melakukan aktivitas pencarian kerja—yakni justru kelompok yang dikhawatirkan akan kehilangan pekerjaan karena AI
Dari sudut pandang klien, kalau hasil buatan GenAI bisa dipakai dengan biaya murah, bukankah itu justru bisa mendorong kenaikan pendapatan? Terlepas dari kontroversi Deloitte, jika GenAI dipakai dengan baik memang bisa menghasilkan kinerja yang lebih baik
Saya sudah lama bekerja di firma consulting, dan tampaknya banyak orang tidak benar-benar memahami consulting. Tentu ada kasus buruk yang tidak etis, tetapi kelebihan dan nilai yang diberikan consulting juga nyata dan besar. Fakta bahwa industri ini masih bertahan di pasar dan menghasilkan miliaran dolar setiap tahun pun menunjukkan hal itu
Ada pendapat yang bertanya apakah selain Big 4 masih ada organisasi lain yang, dibandingkan skala ekonominya, menciptakan nilai sosial sekecil ini