Apa Itu Entropi? Ukuran Ketidaktahuan Kita
(quantamagazine.org)- Entropi berawal 200 tahun lalu dari persoalan batas efisiensi mesin uap, tetapi dalam fisika modern entropi ditafsirkan ulang sebagai besaran untuk mengukur informasi yang tidak diketahui pengamat, alih-alih sifat tetap dunia
- Melalui Carnot, Clausius, dan Boltzmann, entropi menjadi konsep yang menjelaskan sejauh mana panas gagal berubah menjadi kerja dan tersebar, jumlah mikrokeadaan yang mungkin, serta alasan waktu mengalir ke satu arah
- Shannon dan Jaynes memperluas entropi ke bahasa informasi dan ketidakpastian, sementara paradoks pencampuran Gibbs menunjukkan bahwa apa yang dapat dibedakan bisa mengubah kerja yang dapat diekstraksi dan entropi
- Riset terbaru berupaya memasukkan keterbatasan kemampuan pengukuran, memori, dan komputasi pengamat ke dalam matematika; entropi observasional, mesin informasi, mesin Szilard dengan observasi parsial, dan eksperimen termodinamika kuantum menjajaki arah ini
- Dalam sudut pandang ini, pengelolaan ketidakpastian menjadi lebih penting daripada efisiensi sempurna dan prediksi sempurna, dan informasi diperlakukan sebagai sumber daya fisik yang menentukan batas ekstraksi energi, pengambilan keputusan, dan mesin kecil
Entropi yang Berawal dari Efisiensi Mesin Uap
- Konsep entropi berawal dari persoalan efisiensi mesin pada era Revolusi Industri
- Pada 1824, insinyur militer Prancis berusia 28 tahun, Sadi Carnot, mencoba menghitung efisiensi tertinggi mesin uap dan menerbitkan buku 118 halaman berjudul Reflections on the Motive Power of Fire
- Carnot memandang mesin uap sebagai mesin yang memanfaatkan kecenderungan panas mengalir dari benda panas ke benda dingin
- Ada batas pada proporsi panas yang dapat diubah menjadi kerja, dan hasil ini dikenal sebagai teorema Carnot
- Karena gesekan, getaran, dan gerak yang tidak diinginkan, sebagian energi selalu tersebar, sehingga efisiensi sempurna mustahil dicapai
- Pada 1865, fisikawan Jerman Rudolf Clausius menyebut proporsi energi yang terikat dalam bentuk yang tak berguna sebagai “entropy”
- Ia merumuskan hukum kedua termodinamika dalam bentuk “entropi alam semesta bergerak menuju nilai maksimum”
Tafsir Probabilistik Boltzmann dan Panah Waktu
- Saat itu, para fisikawan keliru memahami panas sebagai fluida bernama “caloric”, tetapi kemudian pandangan bahwa panas berasal dari gerak molekul menjadi mapan
- Ludwig Boltzmann menafsirkan ulang entropi sebagai probabilitas
- Keadaan rinci seperti posisi dan kecepatan tiap molekul disebut mikrokeadaan
- Sifat keseluruhan seperti suhu dan tekanan, atau susunan keseluruhan bidak catur, disebut makrokeadaan
- Semakin banyak mikrokeadaan yang dapat menghasilkan satu makrokeadaan, semakin tinggi entropinya
- Cara untuk membentuk susunan yang teratur sedikit, tetapi cara untuk membentuk susunan acak yang tersebar jauh lebih banyak
- Karena itu, hukum kedua dapat dipahami sebagai pernyataan probabilistik bahwa “ada lebih banyak cara untuk menjadi keadaan berantakan daripada keadaan rapi”
- Karena keadaan tercampur lebih mungkin terjadi daripada keadaan partikel panas dan dingin yang terpisah, panas mengalir dari tempat panas ke tempat dingin
- Logika yang sama juga berlaku pada fenomena kaca pecah, es mencair, cairan bercampur, dan daun terurai
- Kenaikan entropi menorehkan panah waktu pada proses-proses yang tampaknya juga mungkin berjalan terbalik
Entropi yang Meluas ke Teori Informasi
- Selama Perang Dunia II, Claude Shannon bekerja pada enkripsi kanal komunikasi dan berupaya mengukur jumlah informasi dalam sebuah pesan
- Shannon memperlakukan pengetahuan sebagai pengurangan ketidakpastian, lalu mendefinisikan ketidakpastian tentang karakter berikutnya dengan probabilitas dan logaritma
- Jika semua karakter memiliki probabilitas yang sama, rumus Shannon memiliki bentuk yang sama dengan rumus entropi Boltzmann
- John von Neumann konon menyarankan Shannon untuk menyebut besaran ini “entropy”
- Sebagaimana entropi termodinamika menjelaskan efisiensi mesin, entropi informasi menangkap efisiensi komunikasi
- Pesan dengan entropi tinggi memiliki sedikit pola sehingga karakter berikutnya sulit ditebak, dan dibutuhkan lebih banyak pertanyaan ya/tidak untuk mengetahui isinya
- Pesan dengan banyak pola mengandung lebih sedikit informasi sehingga lebih mudah ditebak
- Pada 1957, E.T. Jaynes meninjau ulang termodinamika dari sudut pandang teori informasi dalam dua makalah
- Termodinamika lebih mirip ilmu untuk melakukan inferensi statistik dari pengukuran partikel yang tidak sempurna
- Ia mengusulkan prinsip entropi maksimum, yang memberi kemungkinan sama pada semua konfigurasi yang kompatibel dengan kendala yang diketahui
- Prinsip ini digunakan bukan hanya dalam mekanika statistik, tetapi juga dalam machine learning dan ekologi
- Konsep-konsep entropi yang muncul dalam berbagai konteks semuanya terhubung dengan ketidakpastian
- Jika posisi dan momentum partikel hilang, Gibbs entropy meningkat
- Jika partikel menjadi terjerat dengan lingkungan dan keadaan kuantumnya menjadi kabur, von Neumann entropy meningkat
- Jika materi jatuh ke dalam lubang hitam dan dunia luar kehilangan informasi itu, Bekenstein-Hawking entropy meningkat
Entropi Adalah Ketidaktahuan Siapa?
- Dalam pemahaman modern, entropi mengukur ketidaktahuan tentang gerak partikel, angka berikutnya dalam string kode, atau keadaan pasti sebuah sistem kuantum
- Sudut pandang ini segera mengarah pada pertanyaan: “ketidaktahuan siapa?”
- Carlo Rovelli melihat masalah pada penjelasan sederhana hukum kedua sebagai “peningkatan ketidakteraturan” ketika mengamati minyak dan air yang kembali terpisah setelah dikocok
- Di permukaan, keteraturan tampak meningkat, tetapi pengamat dengan pandangan termal yang kuat dapat melihat bahwa dalam proses pemisahan itu energi kinetik dilepaskan ke molekul, membuatnya menjadi keadaan yang lebih tidak teratur secara termal
- Keteraturan makroskopis dapat terbentuk dengan mengorbankan ketidakteraturan mikroskopis
- Jaynes menunjukkan melalui paradoks pencampuran Gibbs bahwa kemampuan pengamat untuk membedakan sesuatu dapat mengubah entropi
- Jika dua gas berbeda A dan B dipisahkan oleh sekat lalu bercampur, entropi meningkat
- Jika kedua gas identik dan memiliki tekanan serta suhu yang sama, entropi tidak berubah meski sekat diangkat
- Jika kedua gas sebenarnya berbeda tetapi tidak ada cara untuk membedakannya, bagi eksperimen keduanya bekerja seperti gas yang sama
- Dalam contoh Jaynes, dua jenis argon hanya berbeda dalam kelarutannya terhadap unsur yang belum ditemukan bernama “whifnium”
- Sebelum whifnium ditemukan, keduanya tidak dapat dibedakan, sehingga tidak ada perubahan entropi yang tampak saat sekat diangkat
- Setelah whifnium ditemukan, kedua argon dapat dibedakan, dan piston yang mengekstraksi energi dari pencampurannya dapat dirancang
- Entropi dan kerja yang dapat diekstraksi bergantung bukan hanya pada perbedaan dalam sistem itu sendiri, tetapi juga pada pengetahuan dan sumber daya yang dimiliki pengamat
Upaya Memasukkan Ketergantungan pada Pengamat ke dalam Matematika
- Jika entropi diperlakukan bukan sebagai sifat intrinsik suatu sistem, melainkan sebagai sifat yang berubah bergantung pada pengamat, muncul beban filosofis terhadap objektivitas fisika
- Anthony Aguirre dan para kolaboratornya merancang ukuran bernama entropi observasional (observational entropy)
- Ukuran ini menentukan sifat-sifat yang dapat diakses pengamat tertentu, lalu menyesuaikan seberapa kasar sifat-sifat itu mengelompokkan realitas
- Seperti Jaynes, semua mikrokeadaan yang kompatibel dengan sifat yang teramati diberi probabilitas yang sama
- Rumus ini berperan menjembatani entropi termodinamika yang menangani ciri makroskopis dan entropi informasi yang menangani detail mikroskopis
- Beberapa kelompok riset independen menggunakan rumus Aguirre untuk mencari pembuktian hukum kedua yang lebih ketat
- Aguirre berupaya memakai ukuran ini untuk memperjelas mengapa alam semesta bermula dalam keadaan entropi rendah, mengapa waktu mengalir maju, dan apa arti entropi pada lubang hitam
- Dalam teori informasi kuantum, informasi diperlakukan sebagai sumber daya yang dipakai pengamat untuk berinteraksi dengan sistem
- Bagi superkomputer dengan kemampuan tak terbatas untuk melacak keadaan pasti semua partikel, entropi akan selalu konstan dan tidak ada kehilangan informasi
- Pengamat dengan sumber daya komputasi terbatas seperti manusia mengelompokkan realitas secara kasar dan perlahan kehilangan detail mikroskopis
- Aliran ini muncul sebagai aliran waktu
Mesin Informasi dan Fisika Pengambilan Keputusan
- Pada musim panas 2023, FQxI, yang turut didirikan Aguirre, mengumpulkan para fisikawan yang meneliti cara menggunakan informasi sebagai bahan bakar di Yorkshire, Inggris
- Bagi para peneliti ini, batas antara mesin dan komputer semakin kabur
- Informasi diperlakukan sebagai sumber daya fisik yang nyata dan dapat dikuantifikasi, yang menunjukkan seberapa banyak kerja dapat diekstraksi dari suatu sistem
- Eksperimen pikiran Leo Szilard menunjukkan inti mesin informasi
- Sebuah partikel tunggal di dalam kotak mendorong sekat, dan setan menggunakan tali serta katrol untuk mengangkat beban di luar
- Untuk memperoleh kerja secara berulang, setan harus mengetahui di sisi mana partikel berada di dalam kotak
- Mesin Szilard digerakkan oleh informasi
- Mesin informasi juga tidak sempurna, seperti mesin kalor
- Untuk mengukur dan menyimpan informasi, rata-rata setidaknya entropi sebanyak itu akan dihasilkan
- Pengetahuan memungkinkan kerja, tetapi memperoleh dan mengingat pengetahuan itu juga memerlukan energi
- Susanne Still telah memperlakukan pengamat sebagai sistem fisik dengan batasan fisik
- Pengamat harus memutuskan apa yang akan diukur dan apa yang akan disimpan dalam memori yang terbatas
- Mengumpulkan informasi yang tidak membantu prediksi berguna menurunkan efisiensi energi
- Still mengusulkan prinsip least self-impediment, yaitu memilih strategi pemrosesan informasi yang sedekat mungkin dengan batas fisik
- Still memodelkan observabilitas parsial dunia nyata dengan mesin Szilard termodifikasi yang memiliki sekat miring
- Pengguna hanya dapat melihat posisi horizontal partikel, misalnya bayangannya
- Jika bayangan berada sepenuhnya di kiri atau kanan sekat, sisi tempat partikel berada dapat diketahui, tetapi di wilayah tengah tidak bisa diketahui apakah partikel berada di atas atau bawah
- Ketika strategi pengukuran dan pengodean memori yang optimal dihitung dalam model ini, muncul derivasi berbasis fisika dari algoritma bottleneck informasi (information bottleneck algorithm) yang digunakan dalam machine learning
Mesin Informasi Kecil di Laboratorium
- John Bechhoefer dan tim peneliti Simon Fraser University merekonstruksi mesin Szilard menggunakan bola silika yang lebih kecil dari debu dan mengapung di air
- Mereka menjebak bola dengan laser dan memantau fluktuasi termal acak
- Ketika bola berayun ke atas, perangkap laser dinaikkan dengan cepat untuk memanfaatkan gerakan itu
- Mereka berhasil mengangkat beban dengan kekuatan informasi
- Bechhoefer dan Still meneliti batas ekstraksi kerja pada mesin informasi nyata
- Mereka menemukan bahwa pada wilayah tertentu, mesin informasi dapat berkinerja jauh lebih baik daripada mesin konvensional
- Terinspirasi oleh karya teoretis Still, mereka juga melacak inefisiensi yang ditimbulkan oleh informasi parsial tentang keadaan bola
- Natalia Ares dari Oxford University menjalankan eksperimen yang mengecilkan mesin informasi ke skala kuantum
- Ia menjebak satu elektron di dalam kawat karbon tipis di atas chip silikon seukuran tatakan gelas
- Nanotube ini didinginkan hingga dalam kisaran seperseribu derajat dari nol mutlak dan bergetar seperti senar gitar
- Frekuensi getarannya ditentukan oleh keadaan elektron di dalamnya, dan para peneliti berupaya mendiagnosis keluaran kerja dari fenomena kuantum melalui getaran sangat halus ini
- Salah satu rencana eksperimen Ares mengikuti gagasan Still
- Ia mengatur seberapa sempurna getaran nanotube bergantung pada elektron, atau seberapa besar ia bergantung pada faktor lain yang tidak diketahui
- Ini berperan sebagai kenop untuk mengendalikan tingkat ketidaktahuan pengamat
- Pada skala kuantum, entropi mana yang menentukan batas terkait dan bagaimana keluaran kerja harus didefinisikan menjadi lebih rumit
- Riset terbaru yang dipimpin Nicole Yunger Halpern menunjukkan bahwa definisi produksi entropi yang biasanya dianggap bermakna sama dapat saling menyimpang di ranah kuantum
- Pada skala kuantum, sifat-sifat tertentu tidak dapat diketahui secara bersamaan, dan urutan pengukuran dapat memengaruhi hasil
- Yunger Halpern melihat sumber daya tambahan di dunia kuantum dapat digunakan untuk mengitari sekitar teorema Carnot
Peralihan Menjadi Ilmu untuk Menangani Ketidakpastian
- Pada September 2024, ratusan peneliti berkumpul di Palaiseau, Prancis, untuk memperingati 200 tahun buku Carnot
- Para peserta membahas peran entropi di bidang riset masing-masing, dari sel surya hingga lubang hitam
- Seorang pejabat dari Pusat Riset Ilmiah Nasional Prancis meminta maaf mewakili Prancis karena telah mengabaikan pengaruh Carnot
- Wawasan Carnot muncul dari upaya mengendalikan dunia mekanis secara sepenuhnya, tetapi ketika entropi menyebar ke seluruh ilmu alam, fokusnya berubah
- Sudut pandang entropi yang lebih matang melepaskan impian tentang efisiensi sempurna dan prediksi sempurna, serta mengakui ketidakpastian dunia yang tak dapat direduksi
- Runtuhnya keteraturan menjadi sumber tenaga bagi semua mesin, dan sudut pandang baru dapat mengungkap gudang keteraturan yang tersembunyi di dalam kekacauan
- Entropi bukan hanya ketidakteraturan yang tak terhindarkan, tetapi juga berfungsi sebagai dorongan untuk mencari pengetahuan yang membuat kita mengindra, menyimpulkan, dan memilih dengan lebih baik
1 komentar
Komentar Hacker News
Senang melihat tulisan ini dibahas di sini
Saya menangani implementasi teknis untuk elemen-elemen interaktifnya, dan kode sumbernya bisa dilihat di sini: https://github.com/jnsprnw/mip-entropy
Dibuat dengan Svelte 5 dan Tailwind
Belakangan ini sepertinya banyak interaksi sekali pakai dibuat dengan Svelte; apa keunggulannya?
Menarik membaca tulisan ini 27 tahun setelah gelar PhD saya
Dalam program doktor fisika teoretis, saya membandingkan kasus dengan hal-hal yang tak diketahui dan tanpa hal-hal yang tak diketahui dari sudut pandang entropi sebagai faktor penggerak
Disertasi saya membahas bagaimana menangani sistem mekanika kuantum di dalam rongga, dengan satu sisi berupa cermin sempurna dan sisi lainnya cermin yang 99,999999% sempurna
Saya menaruh cermin sempurna lain di sisi seberang cermin yang tidak sempurna itu untuk melengkapi alam semesta satu dimensi; dalam ASCII bentuknya
[100%] —l— [100-epsilon] ——L——— [100%], dengan L >> lSolusi untuk seluruh alam semesta sederhana dengan teknik mekanika kuantum standar, tetapi solusi untuk alam semesta kecil yang mengalami rugi tidak demikian, dan secara fisik keduanya seharusnya sama
Jadi saya menggunakan solusi eksak dari alam semesta lengkap (l+L), lalu membandingkannya dengan berbagai model alam semesta kecil (l) yang mungkin, yang memiliki suku nonlinier untuk menjelaskan rugi-rugi
Dalam sistem dengan rugi, entropi ada atau bertindak seperti gaya penggerak; dalam sistem tanpa rugi, semuanya terkonservasi, dan keterkaitan keduanya bukanlah wawasan baru ;-0
Saya juga tidak tahu apa arti
ldanL, dan kalimat terakhir mungkin seharusnya tidak memakaihowEntropi menjadi jauh lebih menarik setelah saya mendengar Sean Carroll menjelaskannya
Ia punya kecenderungan fondasional dan filosofis, dan sering menyoroti bahwa definisi-definisi entropi yang berada di atas landasan filosofis berbeda saling bersaing, dengan salah satunya tampak bergantung pada pengamat
https://youtu.be/x9COqqqsFtc?si=cQkfV5IpLC039Cl5
https://youtu.be/XJ14ZO-e9NY?si=xi8idD5JmQbT5zxN
Leonard Susskind punya banyak kuliah dan buku bagus tentang informasi kuantum dan perhitungan entropi lubang hitam, yang kemudian mengarah pada sejumlah hipotesis baru yang cukup radikal
Stephen Wolfram juga pernah memberi kuliah panjang tentang sejarah konsep entropi, dan itu cukup bagus: https://www.youtube.com/live/ocOHxPs1LQ0?si=zvQNsj_FEGbTX2R3
Bagian yang mengatakan, “Ketika para fisikawan selama satu abad terakhir berusaha menyatukan bidang-bidang yang tampaknya terpisah jauh, mereka menyoroti entropi dengan cara baru, mengarahkan kembali mikroskop kepada orang yang melihatnya, dan mengubah gagasan ketidakteraturan menjadi gagasan ketidaktahuan. Entropi tidak dipandang sebagai sifat yang melekat pada suatu sistem, melainkan relatif terhadap pengamat yang berinteraksi dengan sistem itu,” mungkin berkat berdiri di atas bahu para raksasa, tetapi bagi saya tampak seperti pengamatan yang cukup biasa
Keadaan berentropi tinggi adalah makrostate yang memiliki banyak mikrostate terkait
Mengelompokkan beberapa mikrostate ke dalam makrostate yang sama jelas-jelas merupakan fungsi yang berpusat pada pengamat, bukan?
Misalnya, jika pada dadu kita menganggap 5 dan 6 sebagai hasil yang pada dasarnya sama, maka hasil itu menjadi lebih mungkin dan juga memiliki entropi lebih tinggi
Namun itu karena klasifikasi saya, bukan sifat yang melekat pada sistem
Pernyataan “keadaan berentropi tinggi adalah makrostate yang memiliki banyak mikrostate terkait” adalah cara menurunkan entropi dalam model tertentu
Namun entropi juga dapat diperoleh lewat pengukuran eksperimen; dalam hal ini alat eksperimen tidak peduli pada mikrostate atau makrostate, dan hanya memiliki sifat seperti entalpi, kapasitas panas, dan suhu
Setelah itu kita bisa membangun model dan mengatakan bahwa entropi suatu gas cocok dengan prediksi model gas ideal, atau entropi suatu padatan cocok dengan apa yang kita ketahui tentang entropi vibrasional
Begitu juga cara kita mengatakan atom hidrogen tidak dapat dibedakan. Mereka tidak menjadi tidak dapat dibedakan karena kita memutuskan demikian; ketika menghitung entropi untuk kedua kasus, realitas ternyata tidak cocok dengan model atom yang dapat dibedakan
Jika hanya melihat model yang rapi, klasifikasi makrostate memang tampak berpusat pada pengamat, tetapi itu tidak menjelaskan mengapa nilai eksperimen entropi suatu zat tetap konsisten terlepas dari model yang digunakan peneliti
Pada dasarnya entropi bergantung pada distribusi probabilitas, bukan pada pengamat
Bagi banyak sekali mahasiswa yang membaca buku teks fisika pengantar, hal itu sama sekali tidak jelas dengan sendirinya
Faktanya, entropi sering diajarkan dengan keliru, dan sangat sedikit orang yang benar-benar memahaminya; menurut saya ini baru perlahan mulai diperbaiki
Majalah sains populer, dokumenter, dan video YouTube yang justru makin membingungkan publik adalah bukti tambahan
Semua pengamat, ketika melakukan eksperimen dan menggunakan metode ilmiah, harus menemukan hukum dasar yang sama
Mengikuti analogi Anda, mengatakan bahwa 5 dan 6 sama hanya dimungkinkan jika aturan permainan dapat ditransformasikan dengan cara seperti itu, sehingga pengamat yang membedakan keduanya pun, dalam kerangka acuannya sendiri, sampai pada aturan yang telah ditransformasikan dengan benar
Mengingat ada objek seperti bintang neutron dan lubang hitam yang melibatkan fisika kuantum sekaligus relativitas umum, proposisi ini terasa cukup fundamental, bahkan membuat saya bertanya-tanya apakah justru pernyataannya terlalu kuat
Untuk waktu yang lama saya tidak punya intuisi tentang apa sebenarnya yang direpresentasikan entropi
Video Veritasium ini akhirnya menjelaskannya sampai saya paham: https://www.youtube.com/watch?v=DxL2HoqLbyA
Sayang sekali ketidakpastian Heisenberg tidak disebut, dan saya melihatnya sebagai batas atas teoretis dari pendekatan ini
Selain itu, dalam mesin kuantum seperti ini, perlu juga dipertimbangkan berapa besar biaya komputasi dibandingkan dengan kerja berguna yang secara potensial bisa diperoleh
Jika biaya energi untuk komputasi melebihi kerja berguna yang potensial, hasilnya tetap rugi bersih atau tidak berguna
Terakhir, ada masalah spektrum antara pola tersembunyi dan keacakan
Sebagian sistem lebih acak daripada yang lain, dan peluang untuk memperoleh kerja berguna dalam batas biaya energi komputasi yang wajar makin berkurang saat kita turun di sepanjang spektrum keacakan
Sistem dengan ketidakpastian Heisenberg maksimum—yakni sistem yang partikel-partikelnya tidak terjerat dan juga tidak berkorelasi dengan struktur tingkat lebih tinggi dari partikel-partikel terjerat lain—tidak memiliki ruang untuk peningkatan pengetahuan, sehingga kerja potensialnya juga 0
Inilah entropi ultimat bagi sistem lokal dan makroskopik, dan mungkin juga menjadi penyebab pelanggaran prinsip kekekalan energi tertentu seperti energi gelap
Ada thread terkait awal tahun ini
https://news.ycombinator.com/item?id=41037981 ("What Is Entropy? (johncarlosbaez.wordpress.com)", 209 komentar)
Grafik interaktif yang mencoba menunjukkan bahwa entropi bersifat subjektif kurang meyakinkan
Mereka tidak mendefinisikan dengan benar makrostatus dari sistem yang sedang dipertimbangkan, lalu menunjukkan entropi teramati yang berbeda untuk dua makrostatus yang berbeda
Bagi Alice warnanya, bagi Bob bentuknya, semacam itu
Ini bukan menunjukkan bahwa entropi itu subjektif, melainkan bahwa mendefinisikan sistem itu subjektif
Jika dua makrostatusnya sama, entropinya tetap akan sama
Tulisan itu memang sedikit membahas bagian ini, tetapi tidak cukup, dan mungkin itu juga karena keadaan literaturnya
Makalah entropi teramati oleh Safranek dkk. menarik karena menunjukkan bahwa pilihan coarse graining (pengasaran) ke dalam makrostatus dapat menghasilkan entropi yang berbeda, tetapi tidak membahas pertanyaan inti: mengapa memilih coarse graining atau makrostatus tertentu sejak awal
Dalam literatur teori informasi, ada biaya informasi—biaya dalam arti kompleksitas Kolmogorov—untuk memilih coarse graining atau makrostatus tertentu
Dalam contoh tulisan itu, ini adalah biaya memilih bentuk atau warna untuk mendefinisikan entropi
Jadi entropi teramati terasa seperti bagian dari entropi atau biaya informasi yang lebih besar, yang juga mencakup biaya informasi dari coarse graining yang dipilih
Ini kembali tersambung dengan pembahasan di bagian akhir tulisan tentang biaya observasi dan information bottleneck, tetapi tulisan itu dan makalah-makalah yang ditautkan tampaknya tidak secara eksplisit membahas secara rinci persoalan biaya makrostatus yang berbeda-beda ini
Ada pembahasan bahwa terdapat biaya termodinamika, tetapi tidak jelas bagaimana biaya itu terakumulasi, atau mengapa satu makrostatus diadopsi alih-alih yang lain
Alice dan Bob dalam contoh subjektivitas didefinisikan oleh kendala fisik yang berbeda, dan bisa dipandang sebagai dua sistem pengamatan dengan kendala berbeda
Dari sudut pandang lain, anggaplah sebuah kotak berisi banyak partikel “murni acak”
Dalam hal ini, apa pun yang dilihat Alice dan Bob, yang penting adalah jumlah partikel dan sejenisnya; entropi terhadap warna bergantung pada jumlah warna, bukan posisi partikel, karena sistem sudah berada pada keadaan entropi maksimum
Jika partikel-partikel direorganisasi berdasarkan sifat tertentu, keduanya pada dasarnya menurunkan entropi dari keadaan murni acak sebesar jumlah tertentu, dan saya rasa ini bisa berkaitan dengan informasi yang diperlukan untuk mengembalikan partikel-partikel itu ke keadaan murni acak
Tulisan itu memiliki banyak tautan ke wilayah sains dan matematika lain, dan bagian tentang biaya informasi observasi juga terhubung ke literatur matematika dan ilmu komputer melalui Wolpert (2008), yang mendekatinya dari sudut pandang komputasi, serta Rukavicka setelahnya
Dalam literatur neurosains juga ada gagasan yang mirip dengan efisiensi pengurangan entropi, tetapi saya tidak ingat nama-nama orang yang terkait sekarang
Artikel Quanta itu benar-benar bagus, tetapi ada banyak kekaburan di area tertentu, dan sulit membedakan apakah itu kekaburan dalam penulisannya, kekaburan dalam literaturnya sendiri, atau kurangnya pemahaman saya
Spesies Alice tidak memiliki alat ukur untuk mendeteksi entropi di pihak Bob, sehingga Alice tidak bisa mengekstraksi kerja berguna dari sistem Bob, begitu pula sebaliknya
Karena itu, definisi entropi yang objektif harus mencakup kemampuan pengamat
Pada akhirnya, ini sama dengan yang Anda katakan tentang makrostatus
Saya tidak bisa menunjukkannya dengan tepat, tetapi benar begitu
Mereka mencampuradukkan pendefinisian sistem dengan pendefinisian entropi sistem, lalu mengatakan bahwa entropi itu subjektif
Sama sekali tidak. Entropi hanyalah nilai terukur
Sepertinya di komentar belum ada yang menyebut video Sabine ini. Ini mungkin menarik bagi orang yang tertarik pada entropi dalam fisika
"I don't believe the 2nd law of thermodynamics. (The most uplifting video I'll ever make.)"
https://m.youtube.com/watch?v=89Mq6gmPo0s
Saya mengenal entropi dari machine learning, teori informasi, dan probabilitas
Bagi saya, konsep ini cukup intuitif, menarik, dan berguna, tetapi tidak ada yang misterius
Fungsi kepadatan probabilitas, atau kalau mau terdengar keren, histogram, adalah pengetahuan terbaik kita saat ini tentang berapa kali suatu hasil diharapkan muncul
Jika kita melakukan eksperimen satu kali, kita tidak bisa mengetahui hasilnya; kita hanya bisa menghitung jumlah hasil yang berbeda, dan tidak bisa yakin kapan tepatnya hasil tertentu akan muncul
Fungsi kepadatan probabilitas yang datar berarti pengetahuannya buruk. Semua hasil hampir sama mungkinnya, dan saya sangat tidak tahu. Dengan kata lain, entropinya tinggi
Fungsi kepadatan probabilitas yang runcing berarti pengetahuannya baik. Ada hasil tertentu yang jauh lebih mungkin, dan entropinya rendah
Dalam kasus ekstrem, jika fungsi kepadatan probabilitasnya adalah delta Dirac, itu berarti pengetahuan deterministik
Yang agak menarik adalah ketika observasi baru justru mengurangi pengetahuan
Misalnya, anggap saat ini saya cukup yakin tidak terkena kanker, dan probabilitas untuk kelompok usia saya adalah 90:10
Besok saya menjalani tes dan hasilnya positif. Di antara orang-orang seusia saya yang hasilnya positif, kira-kira setengahnya benar-benar terkena kanker
Setelah tes, probabilitas saya menjadi 50:50. Sekarang saya sepenuhnya tidak tahu apakah saya terkena kanker atau tidak
Sebelum menerima hasil positif, saya sangat yakin tidak terkena kanker, tetapi informasi baru berupa hasil positif mengubah probabilitas kanker dari probabilitas marginal yang runcing
P_Y(y)={0.9,0.1}menjadi probabilitas bersyarat yang sepenuhnya tidak pastiP_Y(y|+ve test)={0.5,0.5}Contoh ini berasal dari "How to measure the information gained from one symbol" karya DeWeese dan Meister: https://pubmed.ncbi.nlm.nih.gov/10695762/
Tulisan yang bagus
Sifat subjektif entropi dan informasi langsung mengingatkan saya pada Integrated Information Theory (IIT) tentang kesadaran dan kesia-siaan mendasarnya
Informasi tidak bisa dibahas tanpa perspektif. Seseorang harus mendefinisikan keadaannya
Dadu memiliki 6 keadaan pun hanya berlaku bagi kita manusia. Bagaimana dengan semut yang mungkin tertimpa dadu itu?
Menarik untuk membawa kembali pengamat ke dalam pembahasan informasi. Sebab setelah itu segera muncul pertanyaan seperti “bagaimana pengamat tersusun?”, “dalam makhluk yang terdiri dari triliunan sel, bagaimana perspektif, yaitu ‘aku’, muncul?”
Jika tertarik pada jalan memutar ini, tulisan ini dan buku kami yang disebut di dalamnya layak dibaca
https://saigaddam.medium.com/consciousness-is-a-consensus-me...