Apa itu Entropi?

Pengantar

• Dahulu ada sebuah platform bernama Twitter, tempat orang-orang saling bertukar pesan singkat. Melalui platform ini, penulis memberikan kuliah singkat tentang entropi, lalu mengembangkannya menjadi sebuah buku kecil.
• Entropi berarti jumlah informasi yang tidak kita ketahui tentang suatu situasi. Untuk menjelaskannya secara kuantitatif, dibahas berbagai topik:
  • informasi
  • entropi Shannon dan entropi Gibbs
  • prinsip entropi maksimum
  • distribusi Boltzmann
  • suhu dan pendinginan
  • hubungan antara entropi, energi harapan, dan suhu
  • teorema ekipartisi
  • fungsi partisi
  • hubungan antara energi harapan, energi bebas, dan entropi
  • entropi osilator harmonik klasik
  • entropi partikel klasik di dalam kotak
  • entropi gas ideal klasik
• Hukum kedua termodinamika (entropi selalu meningkat) tidak dibahas. Topik ini cukup rumit hingga layak membutuhkan buku lain.
• Penulis berusaha menyinggung mekanika kuantum seminimal mungkin, tetapi konstanta Planck diperlukan untuk mendefinisikan rumus entropi sistem klasik.
• Sebagai seorang fisikawan matematis, penulis menghabiskan banyak waktu untuk memperjelas konsep dan mencari contoh tandingan yang aneh. Hal-hal penting ditempatkan di dalam kotak.

Ringkasan GN⁺

• Buku ini adalah upaya untuk menjelaskan konsep dasar entropi dengan mudah, dimulai dari teori informasi lalu berlanjut ke mekanika statistik dan termodinamika.
• Entropi tidak didefinisikan sebagai 'ketidakteraturan', melainkan dijelaskan sebagai jumlah informasi yang tidak kita ketahui.
• Buku ini menggunakan konsep mekanika kuantum seminimal mungkin untuk menjelaskan entropi pada sistem klasik.
• Bermanfaat bagi orang-orang yang ingin memahami fisika lebih dalam, khususnya untuk memahami hubungan antara mekanika statistik dan teori informasi.
• Proyek lain dengan fungsi serupa adalah seri "Theoretical Minimum".

[GN⁺]

Opini Hacker News

• Ada anekdot tentang alasan Shannon menamai 'ketidakpastian' dalam teori informasi sebagai 'entropi'

  • John von Neumann yang mengusulkan istilah 'entropi'
  • Entropi sudah digunakan dalam mekanika statistika, dan menguntungkan dalam perdebatan

• Penting untuk memahami bahwa entropi Shannon adalah besaran subjektif dari sudut pandang pengamat

  • Entropi variabel X adalah jumlah informasi yang dibutuhkan untuk membuat ketidakpastian pengamat menjadi 0
  • Karena tiap pengamat dapat memiliki informasi yang berbeda, tingkat ketidakpastiannya juga bisa berbeda

• Dalam mekanika statistika, entropi dijelaskan sebagai logaritma dari banyaknya cara suatu sistem dapat tersusun

  • Lebih mudah membayangkannya sebagai pasangan lemparan dadu

• Dalam teori informasi, entropi dijelaskan sebagai jumlah bit yang dibutuhkan algoritme kompresi untuk merepresentasikan file secara akurat

  • Input yang berulang memiliki entropi rendah sehingga bisa dikompresi dengan baik

• Ada playlist entropi dari PBS Spacetime

• Menyukai pendekatan yang menjelaskan entropi distribusi probabilitas diskret dengan histogram

  • Mengukur probabilitas bahwa saat banyak bola dilempar secara acak, hasilnya menjadi distribusi seperti histogram tersebut
  • Saat melempar N bola pada distribusi P, probabilitas histogramnya sama dengan P adalah 2^(-N * [log(k) - H(P)])
  • Distribusi uniform memiliki entropi tertinggi

• Buku 'Entropy Demystified' menjelaskan hukum kedua entropi

• Tulisan John Baez sangat menyenangkan dalam pendidikan tingkat sarjana

• Menyukai pendekatan yang menjelaskan entropi sebagai jumlah informasi yang secara teoretis dapat diketahui tentang suatu sistem

  • Terkejut karena tidak disebutkan interaksinya dengan interpretasi Kopenhagen

• Entropi informasi adalah batas bawah ketat tentang seberapa efisien informasi dapat ditransmisikan

  • Entropi dihitung menggunakan distribusi probabilitas