Mencocokkan Gajah dengan Empat Parameter Bukan Nol

 (arxiv.org)
1 poin oleh GN⁺ 2024-07-15 | 1 komentar | Bagikan ke WhatsApp
  • Masalah “mencocokkan gajah dengan empat parameter” berawal dari anekdot pada 1953 ketika Enrico Fermi, mengutip ucapan Johnny von Neumann, mengkritik model Freeman Dyson
  • Kutipan ini digunakan sebagai kritik bahwa meskipun sebuah model tampak sangat cocok dengan data ketika jumlah parameternya bertambah, hal itu tidak otomatis menjamin adanya makna fisik
  • Upaya-upaya sebelumnya tidak sepenuhnya memenuhi syarat: Wei memakai lebih dari 20 parameter, dan Mayer et al. tampak menggunakan empat bilangan kompleks, tetapi sebenarnya setara dengan 8 parameter
  • Pendekatan satu parameter dari Paintadosi dapat menggambar bentuk apa pun, tetapi karena bentuknya dikodekan dalam real presisi sangat panjang, pendekatan itu tidak sesuai dengan maksud masalah ini
  • Makalah ini menyoroti keterbatasan bahwa masalahnya sendiri belum cukup terdefinisi, lalu mencoba mencocokkan kurva gajah hanya dengan empat parameter bukan nol di bawah syarat yang diberikan

Masalah yang berawal dari kritik Fermi

  • Pada 1953, Enrico Fermi mengkritik model Dyson sambil mengutip ucapan Johnny von Neumann
    • “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”
  • Ucapan ini dipakai untuk menunjukkan bahwa meskipun sebuah model rumit dan tampak sangat cocok dengan data, jika itu hanya hasil dari menambah jumlah parameter, maka sulit menjamin bahwa model tersebut benar-benar punya makna fisik
  • Pertanyaan intinya adalah apakah memang mungkin mencocokkan seekor gajah hanya dengan empat parameter

Di mana solusi-solusi sebelumnya meleset dari persyaratan

  • Wei mencoba mencocokkan gajah dengan deret Fourier (Fourier series), tetapi untuk mendapatkan hasil yang cukup baik dibutuhkan lebih dari 20 parameter
    • Hasilnya juga dinilai mungkin masih belum memuaskan “guru seni kelas tiga”
  • Mayer et al. mencocokkan gajah dengan empat bilangan kompleks
    • Karena bilangan kompleks memiliki bagian real dan imajiner, secara praktik itu berarti menggunakan 8 parameter
    • Jika menghitung parameter yang bernilai 0, jumlahnya menjadi 20
    • Gambar hasilnya dinilai indah dengan gaya seperti Picasso
  • Paintadosi mengklaim satu parameter saja sudah cukup, dan menyusun fungsi yang dapat menggambar bentuk apa pun dengan satu parameter
    • Namun ini lebih mendekati pengodean yang memetakan bentuk ke satu bilangan real dengan presisi ratusan atau ribuan digit, sehingga sulit dianggap sebagai solusi yang valid untuk masalah ini
    • Fokus karya tersebut adalah bahwa menghitung jumlah parameter bisa gagal sebagai ukuran kompleksitas model
  • Makalah ini mula-mula merapikan syarat-syarat masalah, lalu—berbeda dari upaya sebelumnya—mengajukan cara untuk mencocokkan gajah dengan empat parameter bukan nol

Bacaan terkait

1 komentar

 
GN⁺ 2024-07-15
Komentar Hacker News

  • Saya suka sisi ironis tulisan ini. Akan bagus juga jika ditambahkan mengapa Fermi dan von Neumann mengatakan hal seperti itu.
    Dalam fisika, saat membuat model realitas, kita tidak boleh menambahkan parameter satu per satu hanya untuk menyesuaikan data ketika model tidak cocok dengan eksperimen. Idealnya, jumlah parameter harus 0 atau seminimal mungkin; lebih dalam lagi, parameter seharusnya muncul secara alami dari asumsi-asumsi sederhana. Jika ada 4 parameter, sulit mengetahui apakah model benar-benar menangkap aspek realitas, atau sekadar menyesuaikan data eksperimen.

    • Hal itu sudah ada di paragraf pertama makalah, dan makalahnya sendiri pada umumnya merupakan tulisan yang humoristis.
      Namun kebijaksanaan dari aforisme itu tampaknya cukup terlupakan di banyak bidang. Di banyak bidang, data “dimodelkan” dengan model regresi raksasa yang memiliki puluhan parameter, atau jaringan saraf dengan miliaran parameter.

      In 1953, Enrico Fermi criticized Dyson’s model by quoting Johnny von Neumann: “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”[1]. This quote is intended to tell Dyson that while his model may appear complex and precise, merely increasing the number of parameters to fit the data does not necessarily imply that the model has real physical significance.

    • Model dengan 0 parameter tampaknya lebih dekat ke matematika, karena bisa diturunkan dari prinsip pertama. Misalnya, jika kita mengasumsikan ruang Euclidean, rumus seperti luas permukaan bola akan muncul.
      Menurut saya fisika dimulai ketika ada setidaknya satu konstanta alam yang harus diukur, seperti kelengkungan ruang nyata atau percepatan gravitasi.
    • Hodgkin dan Huxley melakukan pekerjaan terobosan dengan meneliti akson raksasa cumi-cumi dan memodelkan aktivitas saraf.
      Mereka mengekstrak beberapa parameter dari pencocokan kurva terhadap potensial yang direkam dan arus yang disuntikkan, dan jauh kemudian diketahui bahwa parameter-parameter itu berkorespondensi dengan kanal natrium. Demikian pula, proses lain berkorespondensi dengan kanal kalium. Jika sebuah model tidak bisa dijelaskan dengan 3 parameter meski memiliki beberapa parameter, bahkan 4 sekalipun, menurut saya itu bukan hal yang terlalu perlu dikhawatirkan.
    • Contoh implementasi pertama yang sebenarnya adalah Least square fitting of an elephant oleh James Wei (1975, Chemtech).

  • Tulisan ini humoristis dan ditulis dengan baik, tetapi menurut saya lebih dari itu.
    Sering ada lelucon sekaligus pengamatan bahwa ML/AI hanyalah pencocokan kurva. Apakah “sekadar pencocokan kurva” dapat menghasilkan sesuatu yang cerdas masih belum terjawab, terutama karena makna kata “cerdas” berbeda-beda bagi setiap orang.
    Di sini ditunjukkan pencocokan kurva yang sangat rapi dan mudah dipahami, tetapi pada dasarnya prosesnya sama. Menentukan target, mengoptimalkan di atas fungsi loss, dan berharap model bisa melakukan generalisasi. Tentu saja gajah ini tidak melakukan generalisasi, tetapi memang lucu.
    Jadi kita kembali ke pertanyaan yang diajukan von Neumann: mengapa dibutuhkan begitu banyak parameter? Ironisnya, belakangan ini banyak hal berhasil dilakukan dengan jumlah parameter yang sangat besar, sehingga jawabannya seolah menjadi “dengan banyak parameter, kita bisa melakukan hal-hal keren.”

    • Pencocokan kurva yang berkelanjutan terhadap dunia nyata dapat menghasilkan kecerdasan. Yang kurang bukanlah sesuatu di dalam model, melainkan mekanisme untuk menjelajah, mencari, dan memperluas pengalaman.
      LLM saat ini hanya menumpang pada pengalaman manusia, dan belum banyak berpartisipasi dalam menciptakan pengalamannya sendiri. Karena itulah ia disebut imitation learning atau burung beo. Namun jika model menjadi lebih seperti agen, ia bisa menciptakan pengalaman yang berguna sendiri, dan AlphaZero menunjukkan hal itu.
    • Dalam AI, semakin banyak parameter semakin baik; dalam fisika justru sebaliknya.
    • Detailnya adalah kuncinya. Dalam reinforcement learning, targetnya bergerak, dan dalam deep learning sering digunakan teknik seperti early stopping untuk mencegah optimisasi berlebihan.

  • Freeman Dyson mengenang anekdot yang menginspirasi makalah ini dalam wawancara Web of Life. Ada juga tautan yang langsung menuju bagian pencocokan gajah.
    [1] https://youtu.be/hV41QEKiMlM
    [2] https://youtu.be/hV41QEKiMlM?t=118

  • Satu parameter saja cukup: https://aip.scitation.org/doi/10.1063/1.5031956

    • Ini mirip dengan gagasan bahwa kompresi tak terbatas bisa dicapai jika data disimpan di nama file, bukan di dalam file.
    • Makalah tersebut mengatakan demikian:

      Paintadosi [4] argues that one parameter is always enough. He constructed
      a function that, through a single parameter, can depict any shape. However, in
      essence, this work is a form of encoding, mapping the shape into a real number
      with precision extending to hundreds or even thousands of decimal places. For
      our problem, this is meaningless, although the paper’s theme is that “parameter
      counting” fails as a measure of model complexity

    • Jumlah parameter adalah ukuran yang keliru. Kita perlu melihat hal seperti jumlah informasi yang terkandung dalam nilai parameter, entropi, atau kompleksitas Kolmogorov.
    • Ini mirip dengan mengatakan bahwa seluruh hard disk adalah satu angka.

  • Sayangnya, makalah tersebut tidak mencantumkan suku konstanta, yaitu rata-rata r_0. Kelihatannya kira-kira sekitar 180, tetapi untuk membuat gambarnya nilai ini harus disesuaikan, dan tampaknya tidak ada cara untuk tidak menganggapnya sebagai parameter wajib kelima.
    Jadi sulit mengatakan bahwa tujuannya benar-benar tercapai. Tentu saja, ini benar-benar menyenangkan.

    • Di isi tulisan, disebutkan bahwa nilai itu adalah nilai rata-rata dari titik-titik data yang hendak dicocokkan. Apakah itu dihitung sebagai parameter tampaknya bergantung pada apakah standardisasi dianggap sebagai bagian dari model.

  • Ini adalah bagian menarik dari wawancara Web of Stories dengan Dyson, dan seperti bagi para penulisnya, bagian itu juga terasa mengena bagi saya
    Ini terjadi ketika Dyson membawa hasil awal tentang teori pseudoskalar pion kepada Fermi. Fermi dengan sangat cepat menolak semuanya, dan meski itu mengejutkan Dyson, hal tersebut membuatnya tidak membuang-buang waktu lebih jauh
    Fermi: Saat melakukan perhitungan teori, Anda harus memiliki model fisika yang jelas atau landasan matematika yang ketat. Anda tidak punya keduanya. Berapa banyak parameter bebas yang Anda gunakan untuk pencocokan?
    Dyson: 4
    Fermi: Johnny von Neumann dulu sering berkata begini. “Dengan 4 parameter, Anda bisa mencocokkan seekor gajah, dan dengan 5 parameter, Anda bisa membuat belalainya bergoyang”

  • Saya berharap ada lebih banyak humor di arXiv
    Jika suatu saat saya membuat temuan di waktu pribadi tanpa memakai sumber daya perusahaan, saya akan mempublikasikannya dengan cara yang paling jenaka sebisa mungkin

  • Dr. Octave Levenspiel juga tidak boleh dilewatkan. Saat saya kuliah S1, ia adalah profesor emeritus, dan ia mengerjakan banyak hal, termasuk bidang fluidized bed industri
    Pembahasan kurva gajah saat itu berada dalam konteks kritik terhadap pencocokan multiparameter yang rumit pada reaksi katalitik heterogen. https://levenspiel.com/elephants/
    Ia juga sempat berusaha menerbitkan makalah aerodinamika tentang penerbangan dinosaurus. http://levenspiel.com/wp-content/uploads/2016/02/DinosaurW.p...
    Rasa ingin tahu intelektual seperti ini sedikit mengingatkan pada Feynman yang memutar piring

  • Mengapa On Growth and Form karya D’Arcy Thompson tidak disebut? Model parametriknya tentang organisme hidup cukup keren. Meski memang sangat sederhana
    https://en.wikipedia.org/wiki/On_Growth_and_Form

  • Sejauh yang saya pahami, deret Fourier dengan parameter real r(theta) = sum(r_k cos(k theta)) hanya bisa menggambar bentuk “lingkaran bergelombang” yang memiliki satu titik untuk setiap sinar radial yang keluar dari titik asal
    Parameter kompleks z(theta) = sum(e^(z_ theta)) bisa menggambar bentuk yang lebih berkelok-kelok, yaitu episiklus. Pena bisa bergerak mundur saat lengan penggambar berputar, dan setiap parameter bisa memindahkan titik ke suatu posisi di lingkaran kecil di sekitar titik yang dihitung dari parameter sebelumnya
    Video wajib 3B1B: https://m.youtube.com/watch?v=r6sGWTCMz2k
    Karena satu parameter kompleks setara dengan dua parameter real, yang harus dibandingkan adalah 4 kurva kosinus terbaik dengan 2 kurva eksponensial kompleks terbaik