Efek Samping dari Efisiensi Berlebihan (2022)

 (sohl-dickstein.github.io)
6 poin oleh GN⁺ 2024-09-30 | 2 komentar | Bagikan ke WhatsApp

Efisiensi yang Terlalu Tinggi Membuat Segalanya Memburuk: Overfitting dan versi kuat dari Hukum Goodhart

Ketika efisiensi meningkat, secara paradoks hasilnya bisa memburuk. Ini benar hampir di mana-mana. Fenomena ini akan disebut sebagai versi kuat dari Hukum Goodhart. Misalnya, pelacakan terpusat atas pencapaian siswa melalui ujian standar tampak seperti ide yang bagus, tetapi hal ini dapat membuat sekolah berfokus pada persiapan ujian dan justru memperburuk hasil pendidikan secara keseluruhan. Contoh serupa juga ada di banyak bidang seperti politik, ekonomi, kesehatan, dan sains.

Overfitting dan Hukum Goodhart

  • Overfitting: Dalam machine learning, karena target tidak bisa dicapai secara langsung, model dilatih menggunakan proxy yang mirip. Pada awalnya, ketika proxy membaik, target juga membaik, tetapi jika optimisasi terus dilanjutkan, meskipun proxy semakin baik, target tidak lagi membaik. Ini disebut overfitting.
  • Hukum Goodhart: Ketika sebuah ukuran menjadi target, itu tidak lagi menjadi ukuran yang baik. Ini berlaku bukan hanya dalam ekonomi, tetapi juga di berbagai bidang lain.

Versi kuat dari Hukum Goodhart: ketika menjadi terlalu efisien, hal yang kita pedulikan justru memburuk

  • Jika target proxy terus dioptimalkan, target yang sebenarnya bisa memburuk. Ini adalah fenomena yang sangat umum dalam machine learning.
  • Versi kuat dari Hukum Goodhart: ketika sebuah ukuran menjadi target dan dioptimalkan secara efektif, hal yang ingin diukur justru memburuk.

Peningkatan efisiensi dan overfitting ada di mana-mana

  • Ketika efisiensi meningkat, hal itu dapat menghasilkan dampak positif maupun negatif di seluruh masyarakat.
  • Contoh:
    • Target: mendidik anak-anak dengan baik
      • Proxy: nilai ujian standar
      • Hasil: hanya berfokus pada persiapan ujian sehingga kualitas pendidikan yang sesungguhnya menurun
    • Target: kemajuan sains yang cepat
      • Proxy: bonus berdasarkan jumlah publikasi
      • Hasil: peningkatan publikasi hasil penelitian yang tidak akurat
    • Target: populasi yang sehat
      • Proxy: akses ke makanan bergizi
      • Hasil: masalah obesitas

Cara mengurangi overfitting dan versi kuat dari Hukum Goodhart

  • Menyelaraskan target proxy dan hasil yang diinginkan dengan lebih baik: Dalam machine learning, hal ini dilakukan dengan mengumpulkan contoh pelatihan yang mirip dengan situasi pengujian. Dalam sistem sosial, hal ini dilakukan dengan mengubah hukum, insentif, dan norma sosial agar lebih selaras dengan tujuan.
  • Menambahkan penalti regularisasi: Dalam machine learning, ukuran parameter dijaga tetap kecil. Dalam sistem sosial, hal ini dilakukan dengan mengurangi kompleksitas atau membebankan biaya tambahan.
  • Menyuntikkan noise ke dalam sistem: Dalam machine learning, noise acak ditambahkan ke input, parameter, dan keadaan internal. Dalam sistem sosial, unsur acak ditambahkan untuk mengurangi prediktabilitas.
  • Early stopping: Dalam machine learning, pelatihan dihentikan ketika validation loss mulai memburuk. Dalam sistem sosial, hal ini dilakukan dengan membatasi waktu pengambilan keputusan atau menghentikan aktivitas pasar.
  • Membatasi kemampuan/kapasitas: Dalam machine learning, model dibuat kecil untuk mencegah overfitting. Dalam sistem sosial, kapasitas organisasi atau agen dibatasi.
  • Meningkatkan kemampuan/kapasitas: Dalam machine learning, model dibuat sangat besar untuk mencegah overfitting. Dalam sistem sosial, kemampuan ditingkatkan secara besar-besaran untuk menghilangkan trade-off antara target dan proxy.

Pemikiran penutup

Versi kuat dari Hukum Goodhart adalah akar utama dari ketakutan pribadi terhadap AI. AI dapat meningkatkan efisiensi hampir di semua tugas. Ada banyak peluang riset untuk menyelesaikan masalah ini. Jika sistem sosial runtuh karena versi kuat dari Hukum Goodhart, menjadi sulit untuk mengambil tindakan rasional guna mengatasinya. Memberi nama pada fenomena ini dan memahaminya dengan lebih baik akan sangat membantu.

Ringkasan GN⁺

  • Versi kuat dari Hukum Goodhart menjelaskan bahwa ketika efisiensi meningkat, target dapat memburuk.
  • Ini mirip dengan fenomena overfitting dalam machine learning dan dapat diterapkan ke berbagai bidang.
  • Masalah ini dapat dikurangi dengan menyelaraskan target proxy dan target nyata dengan lebih baik, menambahkan penalti regularisasi, serta menyuntikkan noise ke dalam sistem.
  • Peningkatan efisiensi AI dapat menimbulkan berbagai efek samping, dan diperlukan riset untuk mengatasinya.
  • Penting untuk memahami dan merespons versi kuat dari Hukum Goodhart agar sistem sosial tidak runtuh.

Bacaan terkait

2 komentar

 
gguimoon 2024-10-02

Saya mendengar bahwa ujian CSAT di negara kita telah berubah dari tujuan awalnya, yaitu mengukur kemampuan matematika, menjadi sistem yang hanya berupaya mengefisienkan distribusi batas nilai peringkat. Ini tampaknya merupakan contoh yang tidak lepas dari Hukum Goodhart.
 
GN⁺ 2024-09-30
Komentar Hacker News

  • Jascha adalah peneliti ML yang brilian, pernah bekerja di Google Brain dan kini berada di Anthropic

    • Terkenal lewat riset yang menjelaskan propagasi sinyal dalam deep neural network secara matematis
    • Mencapai konvergensi pada model transformer yang sangat dalam melalui konsep seperti "dynamical isometry"
    • Intuisi optimisasinya melampaui ML dan berlaku di masyarakat modern secara lebih luas
    • Pesannya melampaui latar teknis dan merupakan seruan untuk bertindak secara manusiawi dan empatik
    • Mengusulkan keterkaitan matematis antara masalah overfitting dan bidang lain seperti ekonomi, ilmu politik, dan manajemen

  • Hukum Goodhart menyatakan bahwa ketika sebuah ukuran menjadi tujuan, itu tidak lagi menjadi ukuran yang baik

    • Masalahnya bukan hanya pada pengukuran, tetapi juga pada perilaku manusia
    • Manusia cenderung mengeksploitasi sistem kontrol yang telah ditetapkan
    • Hukum Campbell menjelaskan hal ini dengan lebih baik
    • Langkah mitigasi seperti regularisasi dan early stopping bersifat tidak langsung atau bisa memunculkan masalah baru

  • Di Swedia, ini muncul sebagai masalah sosial selama 20 tahun terakhir

    • Efisiensi layanan kesehatan diukur dari "pekerjaan yang diselesaikan" oleh dokter utama
    • Sistem dioptimalkan untuk menangani kasus sederhana sehingga kontak personal menghilang
    • Sistem kereta api diprivatisasi tetapi tetap menderita masalah keterlambatan

  • Ada hukum serupa dalam fisiologi olahraga

    • Metodologi latihan umum memberi metrik yang lebih bermakna
    • Pada atlet yang sangat terspesialisasi, peningkatan performa tidak menunjukkan peningkatan kebugaran umum
    • Dalam olahraga ada analogi antara "kebugaran dasar" dan "kebugaran puncak"

  • Ada hukum terkait dalam teori antrean

    • Saat utilisasi mendekati 100%, waktu tunggu meningkat tanpa batas
    • Kelonggaran itu perlu

  • Tidak suka fokus pada GDP

    • Survei triwulanan tentang kepuasan hidup dan optimisme adalah metrik yang lebih baik
    • GDP mencerminkan aktivitas ekonomi, tetapi bukan kualitas hidup

  • Menemukan contoh hukum ini di toko perangkat keras lokal

    • Pemasangan kandang anti-pencurian memperburuk pengalaman pelanggan
    • Keputusan berbasis data tidak selalu menghasilkan hasil yang optimal

  • Mengalami hal serupa saat mengunjungi restoran jaringan

    • Semuanya dioptimalkan sehingga terasa mekanis dan artifisial
    • Fokusnya pada menghasilkan pendapatan, bukan pengalaman pelanggan

  • Mengingat kembali nama penulisnya

    • Pada 2015 ia menciptakan model difusi generatif pertama

  • Efeknya memang ada, tetapi contohnya tidak akurat

    • Penekanan berlebihan pada nilai akademik berbeda dari tujuan pendidikan
    • Obesitas bukan hasil dari memprioritaskan makanan bergizi tinggi
    • Meningkatnya ketimpangan tidak berkaitan dengan distribusi sumber daya berdasarkan kebutuhan sosial
    • Kurangnya rangsangan menyebabkan kecanduan sensorik atau perjudian
    • Memperluas pendidikan publik, mengenakan pajak gula, dan redistribusi kekayaan adalah solusi yang lebih mudah