Apa Itu Entropi?
(johncarlosbaez.wordpress.com)- Ini adalah draf buku singkat yang mencoba menguantifikasi entropi sebagai jumlah informasi yang pada prinsipnya bisa diketahui, tetapi belum kita ketahui
- Menjadikan alasan mengapa gas hidrogen pada suhu kamar dan tekanan atmosfer memiliki entropi yang setara dengan sekitar 23 bit informasi yang tidak diketahui per molekul sebagai teka-teki utama
- Berangkat dari entropi Shannon dan entropi Gibbs, lalu menghubungkannya hingga prinsip entropi maksimum, distribusi Boltzmann, suhu, fungsi partisi, dan energi bebas
- Tidak sengaja membahas secara mendalam hukum kedua termodinamika, biologi, dan fisika lubang hitam, serta tidak menjelaskan entropi sebagai ketidakteraturan
- Bahkan untuk menghitung entropi sistem klasik, karena satuan volume dalam ruang posisi-momentum, diperlukan konstanta Planck dan sedikit mekanika kuantum
Bentuk Buku dan Titik Berangkat
- What is Entropy? adalah draf terkini dari sebuah buku singkat tentang entropi
- Judul alternatif awalnya adalah 92 Tweets on Entropy, tetapi dianggap tidak cocok karena seiring waktu orang mungkin tidak lagi ingat apa itu “tweets”
- Ini adalah versi yang sedikit diperluas dari kuliah tentang entropi yang disampaikan di Twitter dalam format pesan pendek
Definisi Entropi sebagai Informasi
- Entropi berarti jumlah informasi tentang suatu situasi yang belum kita ketahui
- Informasi itu pada prinsipnya harus bisa dipelajari
- Buku ini berfokus untuk menjadikan gagasan tersebut sebagai konsep yang presisi dan kuantitatif
- Pertanyaan utamanya adalah mengapa gas hidrogen pada suhu kamar dan tekanan atmosfer memiliki entropi yang setara dengan sekitar 23 bit informasi yang tidak diketahui per molekul
Konsep-konsep yang Dihubungkan untuk Memecahkan Teka-teki
-
Informasi dan Entropi
- Berangkat dari konsep informasi, lalu membahas entropi Shannon dan entropi Gibbs
- Menjelaskan cara menangani keadaan probabilistik melalui prinsip entropi maksimum dan distribusi Boltzmann
-
Suhu, Energi, dan Fungsi Partisi
- Menghubungkan suhu dan kesejukan(coolness), serta hubungan antara entropi dan energi harapan
- Membahas bagaimana teorema ekipartisi, fungsi partisi, energi harapan, dan energi bebas saling terkait dalam perhitungan entropi
-
Contoh Sistem Klasik
- Entropi osilator harmonik klasik
- Entropi partikel klasik di dalam kotak
- Entropi gas ideal klasik
Topik yang Sengaja Tidak Dibahas
- Hukum kedua termodinamika hampir tidak dibahas
- Gagasan bahwa entropi selalu meningkat memang menarik tetapi penuh masalah, sehingga dianggap memerlukan buku tersendiri untuk menjelaskannya dengan benar
- Peran entropi dalam biologi dan fisika lubang hitam juga dikecualikan
- Aspek-aspek entropi yang sering dibahas dalam buku sains populer berada di luar cakupan buku ini
- Entropi tidak disebut sebagai ‘ketidakteraturan’
Konstanta Planck yang Diperlukan Bahkan dalam Fisika Klasik
- Untuk menjaga prasyarat pengetahuan fisika tetap rendah, penjelasan tentang mekanika kuantum dikurangi sebisa mungkin
- Namun, konstanta Planck muncul dalam rumus entropi untuk tiga sistem klasik
- Konstanta Planck menyediakan satuan volume dalam ruang posisi-momentum
- Satuan volume ini diperlukan agar entropi sistem-sistem tersebut dapat didefinisikan
- Bahkan jika gas hidrogen diperlakukan seklasik mungkin, diperlukan sedikit sekali mekanika kuantum untuk memperoleh rumus pendekatan entropi yang baik
Karakter Matematis dan Cara Membacanya
- Buku ini menghabiskan banyak waktu untuk mempresisikan konsep dengan gaya seorang fisikawan matematika, bahkan menelaah contoh tandingan yang tidak biasa
- Bisa jadi buku ini bertahan lebih lama pada detail teknis dibandingkan fisikawan praktisi sungguhan
- Jika bagian teknis terasa berlebihan, pembaca boleh melompat ke “tweet” berikutnya
- Hal-hal yang benar-benar penting berada di dalam kotak
- Pembaca juga bisa membaca sampai akhir terlebih dahulu, lalu mempelajari kembali detailnya
1 komentar
Komentar Hacker News
Ada anekdot terkenal yang disampaikan Shannon: “Hal yang paling kupikirkan adalah namanya. Aku sempat ingin menyebutnya ‘informasi’, tetapi itu kata yang terlalu umum, jadi kuputuskan menyebutnya ‘ketidakpastian’. Saat membicarakannya dengan John von Neumann, dia memberi ide yang lebih baik. Von Neumann berkata, ‘Sebut saja entropi. Pertama, fungsi ketidakpastian Anda sudah digunakan dengan nama itu dalam mekanika statistika, jadi namanya memang sudah ada. Kedua, dan yang lebih penting, tidak ada seorang pun yang benar-benar tahu apa itu entropi, jadi Anda akan selalu diuntungkan dalam perdebatan’”
Pembahasan dan referensi tentang apakah entropi Shannon sama dengan entropi dalam termodinamika bisa dilihat di jawaban-jawaban MathOverflow SE ini(https://mathoverflow.net/questions/403036/john-von-neumanns-...)
Rasanya saya baru benar-benar paham entropi Shannon setelah memahaminya sebagai besaran subjektif, yakni bukan objek yang diamati melainkan sifat pengamat
Entropi dari variabel X adalah jumlah informasi yang dibutuhkan untuk membuat ketidakpastian pengamat tentang nilai X menjadi 0. Jadi, untuk variabel X yang sama, ketidakpastian saya dan ketidakpastian orang lain bisa berbeda. Itu wajar karena masing-masing bisa saja telah menerima informasi yang berbeda tentang X. H(X) seharusnya adalah H_{observer}(X), atau bahkan H_{observer, time}(X). Karya Shannon jelas dalam banyak hal lain, tetapi bagian ini terasa dilewati begitu saja
Lihat cross-entropy dari dua distribusi H[p, q] = -Σ p_i log q_i. Misalnya, p adalah distribusi frekuensi nyata dari hasil lemparan dadu sungguhan, dan q adalah distribusi yang saya yakini. p_i bisa dipandang sebagai probabilitas objektif, dan q_i sebagai probabilitas subjektif. Cross-entropy mendekati ukuran seberapa terkejut kita rata-rata ketika mengamati suatu hasil
Hal menariknya adalah H[p, p] <= H[p, q]. Artinya, jika distribusi keyakinan kita salah, maka cross-entropy akan lebih besar daripada saat kita memiliki keyakinan yang benar q=p. Ini dijamin oleh sifat konkav dari log. Jadi kita bisa membandingkan keyakinan: q yang paling meminimalkan H[p,q] adalah q yang paling dekat dengan kebenaran
Cross-entropy juga bisa dipecah menjadi dua bagian seperti H[p, q] = H[p] + D[q||p]. Suku pertama adalah entropi dari p, yaitu keacakan intrinsik dari fenomena yang ingin dimodelkan, yakni ketidakpastian aleatorik; suku kedua adalah divergensi KL, yang menyatakan ketidakpastian tambahan akibat keyakinan yang salah, yaitu ketidakpastian epistemik
Saat mengukur keyakinan pengamat yang berbeda, yang terjadi hanyalah mereka melihat distribusi yang berbeda, dan distribusi itu bisa memiliki entropi yang berbeda sebagaimana rata-rata atau variansnya juga bisa berbeda
Tetapi jika Anda tidak tahu seed-nya, entropinya sangat tinggi
entropi + informasi = total jumlah bit yang diperlukan untuk deskripsi lengkap
Telur yang belum pecah memiliki entropi rendah. Hanya ada satu cara telur berada dalam keadaan tidak pecah, dan keadaan telur itu bahkan bisa direpresentasikan dengan 1 bit
Telur yang pecah memiliki entropi tinggi. Ada tak terhitung banyaknya cara potongan-potongan pecahan itu bisa tersusun
Daftar posisi dan orientasi setiap pecahan telur, diurutkan menurut lintang, bujur, lalu arah kompas, kembali memiliki entropi rendah. Untuk satu contoh telur pecah tertentu, daftar itu hanya bisa ditulis dengan satu cara
Jika daftar itu dikompresi dengan zip, ia kembali memiliki entropi tinggi. Data di dalam file .zip pada dasarnya tampak acak dan tidak bisa dikompresi lebih jauh. Setidaknya sampai isinya diekstrak lagi
Demikian juga, jika daftar yang belum dikompresi itu harus dikirim melalui kanal dengan bandwidth terbatas, penerima tidak bisa membuat asumsi apa pun tentang isinya, sehingga walaupun sebenarnya ada struktur, bagi penerima isinya tak berbeda dari acak, dan entropinya secara praktis menjadi tinggi lagi
Saya sangat menyukai pendekatan yang dipakai dosen mekanika statistika saya. Dalam hampir semua situasi, entropi pada akhirnya adalah logaritma dari jumlah cara sistem dapat disusun(https://en.wikipedia.org/wiki/Boltzmann%27s_entropy_formula)
Secara pribadi, yang paling mudah bagi saya adalah membayangkannya sebagai pasangan hasil dari dua dadu
Sayangnya, kecuali dalam makna yang sangat dangkal, ini tidak terlalu cocok dengan penggunaan Shannon, sehingga tafsir ini tetap kuat berada di ranah fisika
Karena itu informasi dan entropi berbeda. Entropi adalah mengetahui bahwa saya tidak tahu. Ini adalah kuantifikasi atas pengetahuan tentang besarnya sesuatu yang belum diketahui
Menurut saya, di sinilah tulisan itu keliru atau setidaknya kurang ringkas. Ungkapan di bawah ini menurut saya memasukkan bukan hanya entropi, tetapi juga ‘hal yang bahkan kita tidak tahu bahwa kita tidak tahu’:
https://en.wikipedia.org/wiki/Thermodynamic_beta
Dalam teori informasi, saya selalu memikirkan entropi seperti ini: “jika ada algoritme kompresi yang benar-benar cerdas, berapa bit yang dibutuhkan untuk merepresentasikan file ini secara tepat?”
Artinya, masukan dengan banyak pengulangan memiliki entropi per bit yang tidak besar sehingga dapat dikompresi dengan baik. Algoritme kompresi modern cukup bagus untuk sebagian besar data sehingga bisa dipakai sebagai pendekatan yang masuk akal terhadap entropi sebenarnya
Untuk entropi dari distribusi probabilitas diskret, saya suka penjelasan yang praktis seperti ini. Saya suka tulisan John Baez, tetapi setelah melihat sekilas PDF-nya, saya cukup terkejut karena tampaknya sudut pandang ini tidak dibahas
Bayangkan distribusi sebagai histogram atas beberapa interval. Maka entropi adalah ukuran probabilitas bahwa, ketika saya melempar sangat banyak bola secara acak ke interval-interval itu, distribusi bola akan tampak seperti histogram tersebut. Biasanya yang diharapkan adalah distribusi seragam atas interval-interval itu, jadi entropi mengukur seberapa sering kejadian langka lain terjadi, atau dalam istilah probabilitas, seberapa besar deviasi besar dari perilaku tipikal
Lebih konkret, jika P = (P1, ..., Pk) adalah suatu distribusi, maka ketika N sangat besar, probabilitas bahwa histogram dari N bola yang dilempar akan tampak seperti P kira-kira adalah 2^(-N * [log(k) - H(P)]). Di sini H(P) adalah entropi. Jika P adalah distribusi seragam maka H(P)=log(k), sehingga eksponennya menjadi 0 dan estimasinya 1, yang berarti histogram yang paling mungkin, secara sangat dominan, adalah distribusi seragam
Ini adalah entropi maksimum yang mungkin, jadi histogram lain akan muncul dengan probabilitas 2^(-c*N) untuk suatu c > 0, yakni sangat jarang, dan menjadi semakin jarang secara eksponensial semakin banyak bola yang dilempar. Entropi adalah ukuran tingkat kelangkaan itu. Distribusi yang “kurang seragam” kurang mungkin terjadi, jadi entropi juga mengukur semacam keseragaman. Dalam teori deviasi besar, pernyataan konkret ini disebut teorema Sanov, dan peran entropi di sana adalah sebagai “fungsi laju”
Tafsir entropi sebagai intensitas yang kadang dibicarakan orang juga berkaitan pada tingkat tinggi. Dalam teorema Sanov, probabilitas adalah jumlah hasil yang “tampak seperti P” dibagi jumlah seluruh hasil, dan pembilangnya memang menghitung banyaknya konfigurasi dengan sifat tertentu, dalam hal ini penempatan bola ke interval yang tampak seperti P
Ada banyak definisi yang ekuivalen, masing-masing dengan kelebihan dan generalisasinya sendiri, tetapi sudut pandang ini sangat membantu untuk menghilangkan aura misterius di sekitar entropi
Playlist entropi dari PBS Spacetime: https://youtube.com/playlist?list=PLsPUh22kYmNCzNFNDwxIug8q1...
Entropi informasi, secara harfiah, adalah batas bawah ketat untuk seberapa efisien informasi ini dapat ditransmisikan ketika distribusi probabilitas yang menghasilkan informasi tersebut diketahui, yaitu terhadap nilai harapan jumlah bit transmisi
Bahkan dalam konteks menghitung entropi informasi dari string bit atau bahasa Inggris, yang dilakukan adalah membentuk distribusi probabilitas empiris dari data menggunakan frekuensi relatif 0 dan 1, huruf, n-gram, dan sebagainya, lalu menghitung entropi dari distribusi itu. Saya tidak sepenuhnya menyukai definisi Baez, tetapi mengingat otoritasnya, sulit untuk sembarangan membantahnya
“Saya sengaja banyak menghindari hukum kedua termodinamika, yaitu bahwa entropi selalu meningkat. Ini menarik, tetapi begitu rumit sehingga untuk menjelaskannya dengan benar akan perlu buku lain!”
Kalau tertarik, saya sedang membaca Entropy Demystified karya Arieh Ben-Naim, yang membahas aspek ini dengan arah yang hampir sama
Saya kadang memikirkan dari mana entropi/keacakan baru berasal. Jika keadaan paling awal alam semesta dianggap sebagai partikel titik yang mengembang, tak terhingga rapatnya, pasti ada semacam keacakan atau variasi yang membuat pengembangannya tidak seragam, dan itulah yang memungkinkan materi mendominasi antimateri serta membentuk galaksi, gugus galaksi, dan sebagainya
Jika kita memikirkan sistem terisolasi dengan partikel-partikel statis tertentu, mungkinkah sebagian kecil dari partikel-partikel itu mulai bergerak dan dengan demikian memperkenalkan entropi? Bisakah entropi setidaknya diinduksi secara otomatis pada tingkat kuantum? Jika ini bisa dijelaskan, tampaknya itu akan membantu kita memahami asal-usul alam semesta dengan lebih baik
Contoh klasiknya seperti ini. Bayangkan ada sombrero yang simetris sempurna[1], dan sebuah bola seimbang di puncak tepat di tengah topi itu. Tidak ada arah jatuh yang lebih disukai, tetapi keadaan itu tidak stabil. Gangguan sekecil apa pun akan membuat bola menggelinding turun, lalu berhenti di posisi stabil pada pinggiran topi. Simetri dari konfigurasi awal kini telah pecah, tetapi keadaannya stabil
1: https://m.media-amazon.com/images/I/61M0LFKjI9L.__AC_SX300_S...
https://www.youtube.com/watch?v=hrJViSH6Klo
Di sini dijelaskan bahwa keacakan yang dicari berasal dari fluktuasi kuantum, dan tanpa keacakan ini, alam semesta mungkin tidak akan “terjadi”