2 poin oleh GN⁺ 2025-02-25 | 1 komentar | Bagikan ke WhatsApp
  • Kalkulus stokastik mendekati sistem dunia nyata yang tidak teratur seperti gerak Brown, dengan mengedepankan intuisi fisik dan proses penurunan alih-alih formalisme
  • Distribusi binomial yang diskret dan random walk simetris, jika jumlah percobaan ditambah dan dilakukan penskalaan, akan mengarah ke distribusi normal dan proses probabilistik kontinu melalui teorema limit pusat
  • Gerak Brown (W(t)) memiliki increment independen dan (W(t)\sim N(0,t)), serta lintasannya kontinu tetapi hampir pasti tidak terdiferensialkan di mana pun
  • Kalkulus Itô memiliki aturan (dW=\sqrt{dt}N(0,1)), ((dW)^2\approx dt), sehingga suku orde kedua ditambahkan ke chain rule biasa
  • Persamaan diferensial stokastik memodelkan tren dan keacakan sekaligus melalui drift dan diffusion, sedangkan pendekatan Stratonovich mempertahankan chain rule biasa lewat evaluasi titik tengah dan digunakan dalam fisika, kontrol, difusi biologis, serta simulasi numerik

Masalah yang ditangani kalkulus stokastik

  • Kalkulus stokastik adalah alat untuk menangani sistem dunia nyata yang tidak teratur sebagai model yang dapat dihitung, berdasarkan gerak Brown dan kalkulus Itô
  • Bidang penerapannya meluas dari fisika, keuangan, biologi, hingga machine learning
    • Fisika: Einstein menunjukkan keberadaan atom dengan memanfaatkan fakta bahwa fluktuasi gerak Brown sesuai dengan tumbukan molekul
    • Keuangan: model harga opsi seperti persamaan Black-Scholes bergantung pada persamaan diferensial stokastik berbentuk (dS=\mu Sdt+\sigma SdW)
    • Biologi: random walk memodelkan penyebaran spesies atau penembakan neuron
    • Machine learning: Song et al. (2021) memodelkan evolusi noise seiring waktu dengan persamaan diferensial stokastik berbasis kalkulus Itô, lalu menggunakannya secara balik untuk menghasilkan sampel baru

Dari distribusi binomial ke proses probabilistik kontinu

  • Segitiga Pascal menghitung jumlah lintasan yang bergerak ke kiri atau kanan pada tiap tahap, dan jumlah cara mencapai posisi ke-(k) pada baris ke-(n) adalah (\binom{n}{k}=\frac{n!}{k!(n-k)!})
  • Peluang berhasil (k) kali dan gagal (n-k) kali dalam percobaan independen adalah sebagai berikut

[ P(k \text{ wins in } n \text{ trials})=\binom{n}{k}p^kq^{n-k} ]

  • Asumsi independensi adalah syarat yang kuat, sehingga model bisa menjadi tidak akurat pada dunia nyata seperti kemenangan beruntun dalam olahraga atau harga saham ketika psikologi dan momentum ikut berperan
  • Fenomena yang berubah secara kontinu seperti gerak jatuh, difusi gas, fluktuasi harga saham, dan tumbukan molekul dalam cairan sulit ditangani hanya dengan titik dan penjumlahan, sehingga memerlukan interval dan integral

Random walk dan teorema limit pusat

  • Dalam random walk simetris dengan (p=0.5), perpindahan satu langkah didefinisikan sebagai berikut

[ X(t)= \begin{cases} 1 & \text{with probability } \frac{1}{2}\ -1 & \text{with probability } \frac{1}{2} \end{cases} ]

  • Setiap (X(t)) memiliki rata-rata 0, varians 1, dan langkah pada waktu yang berbeda diasumsikan saling independen
  • Perpindahan total dinyatakan sebagai jumlah dari peubah acak independen

[ S(n)=X(1)+X(2)+\dots+X(n)=\sum_{t=1}^{n}X(t) ]

  • Menurut teorema limit pusat, jumlah peubah acak independen identik terdistribusi (X_1,\dots,X_n) akan mendekati distribusi normal saat (n\to\infty)

[ X_1+\dots+X_n\sim N(n\mu,n\sigma^2) ]

  • Pada random walk ini berlaku hubungan berikut

[ S(n)\sim N(0,n) ]

[ \lim_{n\to\infty}\frac{1}{\sqrt{n}}S(n)=N(0,1) ]

  • Karena itu, “distribusi binomial yang kontinu” mengarah ke distribusi normal

Definisi gerak Brown

  • Gerakan partikel kecil atau serbuk sari di atas air yang diamati Robert Brown pada 1820-an sangat tidak teratur, dan pada skala kecil gerak nyata akibat gaya luar tampak begitu sensitif hingga mengalahkan gerak sebelumnya
  • Dalam model matematika yang disederhanakan, kejadian pada waktu yang berbeda dianggap independen, dan karena simetri posisi, rata-rata posisi partikel pada waktu (t) dianggap berada di sekitar titik asal
  • Sifat-sifat yang harus dimiliki random walk kontinu adalah sebagai berikut
    • Titik awal diambil 0 demi kemudahan matematis
    • Tidak ada bias arah sehingga ekspektasi perpindahan tiap langkah dan ekspektasi perpindahan total sama-sama 0
    • Perpindahan pada interval waktu yang berbeda saling independen
    • Lintasannya kontinu tanpa lompatan atau celah
    • Distribusi posisi pada waktu tertentu harus berupa distribusi normal
  • Gerak Brown biasanya ditulis (B_t), proses Wiener ditulis (W_t), dan di sini digunakan (W(t)) untuk menekankan ketergantungan terhadap waktu
  • Sifat-sifat utamanya adalah sebagai berikut

[ W(0)=0 \quad \text{almost surely} ]

[ W(t)\sim N(0,t) ]

[ \Delta W(s,t)\sim N(0,t-s) ]

  • Increment pada interval berbeda, (\Delta W(t_1,t_2)) dan (\Delta W(t_2,t_3)), bersifat independen untuk (t_1<t_2\le t_3)
  • Dari sini mengikuti bahwa (E[W(t)]=0), (Var(W(t))=t)
  • Lintasan sampel (t\mapsto W(t)) hampir pasti uniform Hölder kontinu untuk semua eksponen (\gamma<\frac12), tetapi tidak Hölder kontinu di mana pun untuk (\gamma\ge\frac12), dan khususnya tidak terdiferensialkan di mana pun

Aturan inti kalkulus Itô

  • Gerak Brown bersifat kontinu tetapi terlalu tidak teratur untuk memiliki turunan biasa
  • Pada interval kecil (dt) berlaku hal berikut

[ \Delta W(t,t+dt)\sim N(0,dt)=\sqrt{dt}N(0,1) ]

[ \frac{\Delta W(t,t+dt)}{dt}=\frac{1}{\sqrt{dt}}N(0,1) ]

  • Karena (\frac{1}{\sqrt{dt}}) membesar tanpa batas saat (dt\to0), ekspresi ini tidak konvergen ke turunan hingga
  • Kiyosi Itô menciptakan kalkulus Itô pada 1940-an yang disesuaikan dengan keacakan gerak Brown, dan inilah dasar kalkulus stokastik
  • (dW) dan ((dW)^2)

    • Perubahan kecil pada gerak Brown didefinisikan sebagai berikut
    • [
    • dW:=W(t+dt)-W(t)
    • ]
    • [
    • dW=\sqrt{dt}N(0,1)
    • ]
    • Berbeda dari (dx) deterministik dalam kalkulus biasa, (dW) bersifat acak, skalanya sebanding dengan (\sqrt{dt}), dan tandanya bergantung pada distribusi normal baku
    • Nilai harapan dan variansnya adalah sebagai berikut
    • [
    • E[dW]=0
    • ]
    • [
    • Var(dW)=E[(dW)^2]=dt
    • ]
    • Nilai harapan ((dW)^2) adalah (dt), variansnya (2dt^2), dan karena volatilitasnya dapat diabaikan saat (dt\to0), dalam kalkulus Itô diperlakukan sebagai ((dW)^2\approx dt)
    • Dalam kalkulus biasa, ((dx)^2) terlalu kecil sehingga hilang, tetapi dalam kalkulus stokastik ((dW)^2) berada pada skala yang sama dengan (dt), sehingga aturan perhitungannya berbeda
  • Integral Itô

    • Seperti integral biasa (\int_a^b f(x)dx) yang didefinisikan sebagai limit jumlah Riemann, untuk gerak Brown kita mempertimbangkan (\int_0^t f(s)dW(s))
    • Untuk partisi (s_0,\dots,s_n), integral ini didekati dengan jumlah berikut
    • [
    • \int_0^t f(s)dW(s)\approx \sum_{i=0}^{n-1}f(s_i)\Delta W(s_i,s_{i+1})
    • ]
    • Hasil integral ini adalah peubah acak yang mencerminkan keacakan (W(t))
    • Jika (f(s_i)) dievaluasi di titik ujung kiri, hanya informasi sampai waktu (s_i) yang digunakan, sehingga memiliki sifat non-anticipating, yakni tidak melihat masa depan
  • Lema Itô

    • Chain rule kalkulus biasa untuk (f(t,W(t))) adalah sebagai berikut
    • [
    • df=\frac{\partial f}{\partial t}dt+\frac{\partial f}{\partial W}dW
    • ]
    • Karena sifat gerak Brown yang kasar, suku orde kedua pada ekspansi Taylor tidak hilang
    • [
    • df=\frac{\partial f}{\partial t}dt+\frac{\partial f}{\partial W}dW+\frac{1}{2}\frac{\partial^2 f}{\partial W^2}(dW)^2+\text{smaller terms}
    • ]
    • (dt^2) dan (dt,dW) hilang, tetapi ((dW)^2\approx dt) tetap ada
    • Karena itu, lema Itô berbentuk sebagai berikut
    • [
    • df=\frac{\partial f}{\partial t}dt+\frac{\partial f}{\partial W}dW+\frac{1}{2}\frac{\partial^2 f}{\partial W^2}dt
    • ]
    • Suku tambahan (\frac12\frac{\partial^2 f}{\partial W^2}dt) muncul karena efek orde kedua dari gerak Brown
    • Untuk kasus (f(W)=W^2), hasilnya dihitung sebagai berikut
    • [
    • d(W^2)=2W,dW+dt
    • ]
    • [
    • W(t)^2=\int_0^t2W(s)dW(s)+t
    • ]
    • Suku (t) sesuai dengan (E[W(t)^2]=t), dan suku integral adalah komponen acak dengan rata-rata 0

Memodelkan dengan persamaan diferensial stokastik

  • Kalkulus Itô menyediakan integral dan chain rule untuk gerak Brown, sehingga sistem yang memiliki keacakan dan tren sekaligus dapat dimodelkan sebagai persamaan diferensial stokastik (SDE)
  • SDE umum berbentuk sebagai berikut

[ dX(t)=a(t,X(t))dt+b(t,X(t))dW(t) ]

  • Makna tiap sukunya adalah sebagai berikut
    • (X(t)): besaran yang berubah terhadap waktu
    • (a(t,X(t))dt): drift, bagian sistematis
    • (b(t,X(t))dW(t)): diffusion, gangguan acak yang berasal dari gerak Brown
  • Solusi SDE bukanlah kurva tetap, melainkan lintasan acak yang berbeda setiap kali dijalankan, dan pola statistiknya dapat dianalisis
  • Lema Itô bentuk umum

    • Untuk (dX=b(t,X(t))dt+\sigma(t,X(t))dW), lema Itô untuk (f(t,X(t))) adalah sebagai berikut
    • [
    • df=(f_t+bf_X+\frac{1}{2}\sigma^2f_{XX})dt+\sigma f_XdW
    • ]
    • Ini diturunkan dengan mempertimbangkan hingga (dX=O(dW)) dan (dX^2=O(dW^2))
  • drift dan diffusion

    • drift (a(t,X)) menentukan arah rata-rata, dan diffusion (b(t,X)) menentukan kekuatan fluktuasi acak
    • Jika (b=0), persamaannya menjadi persamaan diferensial biasa; jika (a=0), hasilnya adalah gerak Brown yang diskalakan
    • Kasus sederhana dapat ditulis sebagai berikut
    • [
    • dX(t)=\mu dt+\sigma dW(t)
    • ]
    • Jika (X(0)=0), maka solusinya adalah
    • [
    • X(t)=\mu t+\sigma W(t)
    • ]
    • Karena (W(t)\sim N(0,t)), distribusinya menjadi
    • [
    • X(t)\sim N(\mu t,\sigma^2t)
    • ]
    • Ini adalah proses yang mengalami drift linear seiring waktu dan penyebaran noise, bentuk dasar untuk model seperti saham dengan pertumbuhan stabil dan volatilitas
  • Gerak Brown geometrik

    • Untuk sistem yang besar perubahannya sebanding dengan ukuran, digunakan gerak Brown geometrik (GBM)
    • [
    • dS(t)=\mu S(t)dt+\sigma S(t)dW(t)
    • ]
    • (\mu S(t)) adalah drift proporsional, dan (\sigma S(t)) adalah noise proporsional
    • (\frac{dS}{S}=\mu dt+\sigma dW) adalah perubahan rasio yang memuat tren dan keacakan
    • Jika (f=\ln S) dan diterapkan lema Itô, diperoleh
    • [
    • d(\ln S)=\left(\mu-\frac12\sigma^2\right)dt+\sigma dW
    • ]
    • Dengan mengintegralkannya, diperoleh solusi berikut
    • [
    • S(t)=S(0)\exp\left(\left(\mu-\frac12\sigma^2\right)t+\sigma W(t)\right)
    • ]
    • Drift disesuaikan sebesar (-\frac12\sigma^2) karena efek orde kedua dari noise, dan bentuk ini menjadi dasar model Black-Scholes di keuangan
    • Solusi analitik seperti GBM adalah pengecualian; sebagian besar SDE memerlukan simulasi numerik atau analisis statistik melalui persamaan seperti Fokker-Planck

Kalkulus Stratonovich

  • Lema Itô memuat suku turunan kedua sehingga perhitungannya bisa terasa merepotkan
  • Kalkulus Stratonovich mengubah titik evaluasi integral stokastik sehingga chain rule kalkulus biasa tetap berlaku
  • Integral Itô menggunakan titik ujung kiri tiap interval, sedangkan integral Stratonovich menggunakan aturan evaluasi titik tengah
  • Titik evaluasi yang digeneralisasi dapat ditulis sebagai berikut

[ \int_0^T f(X(t))\diamond dW

\lim_{n\to\infty}\sum_{i=0}^{n-1} f(X(t_i)+\lambda\Delta X(t_i,t_{i+1})) \Delta W(t_i,t_{i+1}) ]

  • Dalam kalkulus deterministik, karena (O(dX^2)\to0), pilihan titik evaluasi tidak penting, tetapi dalam kalkulus stokastik, karena (O(dW^2)\to O(dt)), pilihan itu menjadi penting
  • Untuk mempertahankan chain rule (df=f_X\circ dX), perbandingan ekspansi Taylor mensyaratkan (\lambda=\frac12)
  • Karena itu, integral Stratonovich didefinisikan sebagai berikut

[ \int_0^T f(X(t))\circ dW

\lim_{n\to\infty}\sum_{i=0}^{n-1} f\left(\frac{X(t_i)+X(t_{i+1})}{2}\right) \Delta W(t_i,t_{i+1}) ]

  • Konversi Itô dan Stratonovich

    • Jika proses stokastik yang sama diberikan dalam dua bentuk berikut
    • [
    • dX=adt+bdW=\tilde a dt+b\circ dW
    • ]
    • Suku drift memiliki hubungan berikut
    • [
    • a=\tilde a+\frac12 b_Xb
    • ]
    • Koefisien difusi (b) tetap sama, tetapi antara representasi Itô dan Stratonovich, fungsi drift berbeda

Konteks penggunaan pendekatan Stratonovich

  • Kalkulus Stratonovich membentuk integral stokastik yang berbeda dari pendekatan ujung kiri milik Itô melalui aturan evaluasi titik tengah, dan cocok untuk sistem fisik tertentu atau penyederhanaan perhitungan
  • Dalam noise multiplikatif di fisika, osilator teredam dengan noise bergantung keadaan dapat ditulis sebagai berikut

[ dX=-kXdt+\sigma X\circ dW ]

  • Jika chain rule Stratonovich diterapkan pada (f(X)=\ln X), diperoleh

[ d(\ln X)=-kdt+\sigma\circ dW ]

[ X(t)=X(0)e^{-kt+\sigma W(t)} ]

  • Teorema Wong-Zakai menyatakan bahwa ketika noise nyata yang sedikit lebih halus dibawa ke limit white noise, yang muncul adalah SDE Stratonovich
  • Dalam kontrol stokastik, pada sistem seperti (dX=(aX+u)dt+\sigma X\circ dW), aturan Stratonovich sesuai dengan intuisi kontrol klasik sehingga dapat menyederhanakan perancangan input kontrol (u(t))
  • Dalam difusi biologis, pada model dengan noise bergantung posisi seperti (\sigma(X)=\sqrt{2D(1+kX^2)}), Stratonovich mencerminkan hukum kekekalan fisik
  • Dalam simulasi numerik, Stratonovich cocok dengan metode titik tengah sehingga dapat digunakan untuk mengurangi artefak numerik pada model seperti kinetika reaksi kimia
  • Kriteria pemilihannya bergantung pada konteks
    • Stratonovich cocok untuk sistem yang noisanya terhubung dengan kontinuitas fisik atau simetri
    • Itô dominan digunakan di keuangan karena sifat non-anticipating yang tidak memakai informasi masa depan
    • Dengan memakai rumus konversi (a=\tilde a+\frac12bb_X), kedua representasi dapat saling dikonversi

1 komentar

 
GN⁺ 2025-02-25
Pendapat Hacker News
  • Bagi pembaca dengan pengetahuan matematika tingkat sarjana lanjut/pascasarjana, materi pengantar kalkulus stokastik ini dianggap bermanfaat: https://almostsuremath.com/stochastic-calculus/

    • Materinya bagus. Saya mempelajari bidang ini di sekolah pascasarjana, dan menurut saya isinya cukup sulit, sampai mencakup tingkat program doktor dari pemula hingga lanjutan
      Ada juga buku teks inspiratif yang sangat tumpang tindih dengan topik terkait: https://www.amazon.com/Stochastic-Integration-Differential-E...
  • Saya penasaran apakah kalkulus stokastik adalah bidang yang membutuhkan komputer jika ingin mensimulasikan banyak kemungkinan perkembangan kejadian, atau apakah ketika distribusi dW diketahui, keluaran akhir penting dan distribusi probabilitasnya bisa diselesaikan dengan cara matematis yang lebih elegan
    Tulisan ini luar biasa, dan meskipun saya pernah melihat kalkulus stokastik sebelumnya, kali ini rasanya untuk pertama kalinya saya benar-benar mulai memahaminya

    • Untuk menjawab pertanyaan secara lebih langsung, biasanya jawaban analitik hanya bisa didapat untuk pertanyaan sederhana tentang distribusi sederhana
      Jika masalahnya rumit atau distribusinya rumit, atau keduanya, maka diperlukan metode numerik. Itu tidak selalu berarti harus menjalankan banyak simulasi seperti Monte Carlo, meskipun metode itu tetap masuk akal walau mahal
      Pertanyaan yang lebih langsung tentang probabilitas tertentu bisa dijawab tanpa Monte Carlo. Persamaan Fokker-Planck adalah persamaan diferensial parsial yang bisa diselesaikan dengan berbagai cara non-Monte Carlo, dan quasipotential serta fungsi committor yang muncul dalam simulasi kejadian langka juga bisa dihitung secara “langsung”. Kesulitan utamanya adalah bahwa penerapan metode numerik standar pada objek-objek ini akan terkena kutukan dimensi. Cara menghitungnya dengan baik pada dimensi tinggi, bahkan tak hingga, adalah bidang riset yang sangat panas dalam matematika terapan. Secara pribadi, saya menganggap hal-hal seperti ini pada umumnya mendekati pemborosan waktu kecuali bila matematikanya berkorespondensi rapi dengan aplikasi fisik yang nyata
    • Itu tergantung pada apa yang ingin dihitung, tetapi secara umum fungsi kepadatan probabilitas pada waktu t dari solusi persamaan diferensial stokastik (SDE) memenuhi persamaan diferensial parsial orde pertama terhadap waktu dan orde kedua terhadap ruang
      Fisikawan menyebutnya persamaan Fokker-Planck, matematikawan menyebutnya Kolmogorov forward equation. Kecuali untuk beberapa pengecualian khusus, tidak ada solusi analitik eksak dan diperlukan solusi numerik. Namun pada dimensi tinggi, biaya menyelesaikan persamaan diferensial parsial sangat besar, sehingga lebih murah menyelesaikan SDE dan melakukan sampling Monte Carlo
      Bisa juga ada jenis pertanyaan lain, seperti solusi ketika suatu peristiwa acak terjadi, dan logika serupa tetap berlaku. Selain itu, kalkulus stokastik sangat berguna untuk menangani SDE, tetapi jika yang diminati adalah proses Markov jenis lain atau proses non-Markov, mungkin diperlukan alat yang berbeda
      Seperti disebut komentar lain, dalam kasus khusus SDE itu sendiri bisa punya solusi eksak, tetapi umumnya tidak
      Penjelasan ini terbatas pada SDE, yaitu persamaan diferensial dengan Gaussian white noise sebagai suku pemaksa. Pada proses stokastik lain seperti proses lompatan Markov, bentuk persamaan evolusi distribusinya berbeda, meskipun beberapa prinsip umum seperti persamaan Chapman-Kolmogorov tetap sama
    • Beberapa persamaan diferensial stokastik yang sederhana bisa memperoleh solusi eksplisit secara analitik, seperti halnya integral atau persamaan diferensial biasa sederhana. Contoh klasiknya adalah persamaan Black-Scholes
      Persamaan yang lebih kompleks biasanya tidak bisa diselesaikan seperti itu. Sering kali yang diinginkan adalah nilai harapan dari fungsi proses stokastik pada suatu waktu tertentu, dan bisa ditunjukkan bahwa nilai harapan ini mengikuti persamaan diferensial parsial deterministik tertentu. Setelah itu, masalahnya diselesaikan dengan pemecah persamaan diferensial parsial numerik
      Jika dimensinya tinggi atau prosesnya sangat bergantung pada lintasan sehingga tidak bersifat Markov, pada akhirnya orang memakai simulasi Monte Carlo yang benar-benar mensimulasikan “berbagai kemungkinan perkembangan kejadian”
    • Saya dulu belajar sedikit tentang simulasi reaksi kimia stokastik, dan menurut saya jawabannya sering kali “ya”, tetapi tidak selalu
      Misalnya, kita tahu random walk menjadi distribusi normal dan rata-rata serta variansnya menuju tak hingga, jadi dari masukan saja kita bisa menentukan fungsi varians terhadap waktu, yang mengarah pada solusi analitik yang elegan
      Namun dalam banyak kasus, tidak ada solusi analitik sehingga kita harus menjalankan algoritma probabilistik. Dalam kinetika reaksi kimia stokastik sederhana, algoritme Gillespie adalah contohnya
    • Itu tergantung pada apa yang ingin diketahui. Jika Anda ingin mendapatkan beberapa lintasan, maka diperlukan simulasi persamaan diferensial stokastik
      Jika yang ingin diketahui hanya statistik lintasannya, dalam banyak kasus Anda bisa menyusun dan menyelesaikan persamaan Fokker-Planck, yaitu persamaan diferensial parsial, untuk mendapatkan kepadatan lintasan
  • Langkah berikutnya adalah sistem memiliki momentum teredam dan noise masuk ke momentum, yaitu Langevin Dynamics
    Ini juga digunakan dalam simulasi dinamika molekuler dan bisa dipakai untuk sampling Bayesian MCMC
    Anehnya, ketika membahas Langevin Dynamics dalam kaitannya dengan AI, saya sering melihat penggunaan momentum justru dihilangkan. Padahal dalam AI, gradient descent dengan momentum dipakai secara luas. Yang makin membingungkan, kata “stokastik” juga dipakai untuk berarti bahwa gradien di tiap langkah diaproksimasi dengan sampel sebagian data. Jika mau, kedua jenis stokastisitas ini bisa diterapkan sekaligus

    • Padanan momentum dari Langevin dikenal sebagai underdamped Langevin, dan jika skema diskretisasinya dioptimalkan dengan cukup baik, ia dapat konvergen lebih cepat daripada Langevin biasa
      Saya tidak tahu persis mengapa ini lebih jarang dipakai di dunia AI, tetapi tampaknya non-konveksitas dalam aplikasi AI menimbulkan masalah. Bahkan dalam pengaturan log-konkaf pun, sampling sudah merupakan masalah yang cukup sulit
  • Sumber tentang kalkulus stokastik yang secara pribadi saya sukai adalah Stochastic Processes in Information and Dynamical Systems karya Eugene Wong, McGraw-Hill, New York, 1971

    • Buku lama, tetapi menurut saya ditulis dengan sangat jelas, dan penjelasan teori ukuran di bagian pengantarnya saja sudah sangat berharga
  • Saya masih ingat pernah belajar kalkulus stokastik
    Saya juga ingat pernah mencatat bahwa simpangan baku dalam statistika umum dan variasi kuadratik sedikit berbeda dalam cara menghitung varians. Kurang lebih seperti selisih 1 atau kuadratnya berbeda, dan saya pernah menulis memo untuk menyelidiki alasannya suatu hari nanti. Mungkin karena volatilitas stokastik

    • Varians seluruh populasi didefinisikan seperti berikut: sum i=1..N (x_i - mu)^2 / N
      Di sini rata-rata mu := sum x_i / N adalah rata-rata populasi yang sebenarnya
      Sebaliknya, ketika kita memperoleh n sampel iid dari suatu distribusi, estimator terbaik untuk varians distribusi adalah sum i=1..n (x_i - a )^2 / (n-1)
      Di sini rata-rata mu diganti dengan rata-rata sampel a := sum x_i / n, dan alih-alih membagi dengan N, dibagi dengan n-1. “Terbaik” di sini berarti estimator tak bias, dan bahwa nilai harapan dari rumus kedua sama dengan varians populasi bisa dikonfirmasi dengan perhitungan yang membosankan tetapi tidak sulit
    • Jika yang dipikirkan adalah varians sampel, ada dua cara untuk mendekatinya
      Pertama, varians sampel bergantung pada rata-rata sampel sum(x_i) / n. Jika dari n sampel kita mengetahui n-1 yang pertama dan juga rata-rata sampelnya, maka nilai terakhir sudah ditentukan, sehingga setidaknya n-1 bisa dipahami sebagai derajat kebebasan. Momen sampel yang lebih tinggi juga kira-kira bisa dipahami dengan logika derajat kebebasan yang serupa, meski mungkin saya salah
      Kedua, dengan cara yang lebih matematis, biased_sample_variance = sum((x_i - sum(x_i) / n)^2) / n. Untuk berbagai himpunan sampel, rata-rata dari varians sampel yang bias ini bukanlah varians populasi, melainkan (n - 1) / n * population_variance. Karena itu, jika dikalikan dengan n / (n - 1), kita memperoleh varians sampel tak bias sum((x_i - sum(x_i) / n)^2) / (n - 1). Kalau sudah masuk alurnya, matematika ini cukup menyenangkan
  • Baru-baru ini saya menemui contoh seperti ini. Misalkan kita memainkan sebuah “permainan”. Ambil bilangan acak A dari distribusi uniform antara 0 dan 1, lalu ambil bilangan kedua B dari distribusi yang sama
    Jika A > B, maka B diambil ulang dan A dibiarkan tetap. Berapa rata-rata jumlah pengambilan yang diperlukan, yaitu rata-rata “kemenangan beruntun” A?
    Jawabannya adalah tak hingga. Karena sesekali A bisa keluar sangat tinggi, sehingga perlu ratusan ribu bahkan jutaan kali pengambilan untuk mengalahkannya

    • Jika dituliskan perhitungannya, jadinya seperti ini. Jika nilai yang diambil untuk A adalah p, maka saat B diambil sekali, probabilitas B > A adalah (1-p)
      Karena itu, probabilitas bahwa setelah B diambil n kali ia baru menjadi lebih besar dari A adalah distribusi geometrik dengan p^(n-1) (1-p). Nilai harapan jumlah pengambilan adalah 1/p, dan karena E[draws] = E[E[draws|A=p]] = \int_0^1 E[draws|A=p] dp = \int_0^1 (1/p) dp, hasilnya divergen menjadi tak hingga seperti yang disebutkan
      Bukannya saya meragukan, saya hanya ingin melihat perhitungannya
    • Bagi yang tertarik, menurut saya ini merupakan contoh dari https://en.wikipedia.org/wiki/St._Petersburg_paradox
    • Dari cara pertanyaannya dirumuskan, agak ambigu apakah “diambil ulang” hanya berlaku untuk B, atau A juga diambil ulang. Apakah jawaban tak hingga memang hanya berlaku untuk kasus pertama?
    • Apakah benar perlu kalkulus stokastik untuk membuktikan ini? Sepertinya cukup dengan integral standar berdasarkan fakta bahwa untuk A yang tetap, nilai harapan jumlah sampel yang diperlukan adalah 1/(1-A)
  • Bertanya kepada pembaca HN. Mereka sudah mendefinisikan sekitar 50 loci yang mencakup perbedaan DNA yang mengatur tingkat kematian pada genom tikus, dan sebagian besar memiliki efek aktuaria yang kompleks serta bergantung pada usia
    Saya ingin memprediksi usia kematian; apakah kalkulus stokastik merupakan pendekatan yang berguna untuk prediksi aktuaria terhadap harapan hidup tikus? Karena itu saya senang tulisan ini naik ke peringkat atas HN

    • Kalkulus stokastik, seperti kalkulus biasa, paling berguna ketika satu titik waktu dan titik waktu lain hanya berbeda pada beberapa variabel keadaan dan secara umum mirip satu sama lain; jika karakter tiap titik waktu sangat berbeda, kegunaannya lebih kecil
      Jumlah pertanyaannya, yaitu jumlah loci, tampak mirip dengan jumlah interval yang masuk akal untuk membagi waktu. Jika saya tidak salah, efek yang menggeser waktu kematian sebesar 1/50 dari umur tikus akan sulit dideteksi. Karena jumlah interval waktunya juga tidak banyak, dan tidak ada model interaksi antar variabel keadaan, Anda kemungkinan akan memakai metode statistik tanpa model, jadi sepertinya hampir semua nilai yang bisa didapat dari pendekatan diskret sudah bisa diperoleh
    • Saya akan memperlakukan keberadaan gen sebagai variabel biner 0-1 lalu menerapkan regresi regularisasi L1. Regularisasi L1 membantu menangani dimensi tinggi pada masalah ini: https://en.wikipedia.org/wiki/Lasso_(statistics)
      Karena targetnya adalah usia, saya tidak akan berasumsi ada distribusi Gaussian di dasarnya. Perubahan itu tidak sesulit yang dibayangkan: https://en.wikipedia.org/wiki/Generalized_linear_model
      Seperti biasa, sebaiknya berkonsultasi dengan ahli statistik terdekat
    • Saya belum siap mengatakan “tidak” secara tegas, dan ini bergantung pada penerapannya, tetapi dari penjelasannya, ini tampak lebih seperti tugas yang cocok untuk statistik Bayesian berbasis graf
    • Kalkulus stokastik tampaknya menangani sistem yang keluarannya berupa nilai riil yang mulus. Pada dasarnya ini dipakai untuk memodelkan sistem seperti random walk yang di setiap interval naik-turun sedikit secara acak
      Tetapi jika yang dilihat adalah hidup/mati terhadap waktu, keluarannya biner, dan informasi yang benar-benar diperoleh hanyalah waktu kematiannya, jadi model random walk tampaknya tidak diperlukan atau tidak diinginkan, dan model statistik yang lebih umum kelihatannya lebih tepat. Jika ada variabel lain selain hidup atau mati yang juga diukur, model probabilistik bisa membantu
      Selain itu, jika maksudnya seluruh informasi sebesar 50×X byte memengaruhi harapan hidup, itu memang masalah yang sulit, tetapi karena bentuknya banyak input diskret dan satu output mulus, ini cukup cocok untuk jaringan saraf. Cobalah jaringan saraf dan model linear sekaligus, lalu lihat seberapa jauh jaringan saraf lebih baik; itu bisa menunjukkan apakah ada interaksi yang lebih kompleks daripada model linear
    • Kalau terlewat, ada https://en.m.wikipedia.org/wiki/Survival_analysis yang memang ditujukan untuk menjawab pertanyaan ini
      Jika mendekatinya secara praktis, saya akan mendiskretkan waktu dan menyesuaikan data dengan machine learning klasik untuk memprediksi “probabilitas mati pada bulan X dengan syarat masih hidup sampai saat itu”. Dengan begitu, kesalahan dan potensi masalah pada data akan jauh lebih mudah ditemukan
      Saya hanya akan memilih kalkulus stokastik atau survival analysis yang lebih formal jika ingin membuktikan atau menurunkan hubungan antara sifat matematis yang sudah ada seperti ketiadaan memori dan sifat fisik/biologis seperti perilaku protein tertentu. Itu akan sangat keren, tetapi juga cukup sulit, terutama jika datanya terbatas. Saya kira cara makalah keuangan memakai analisis stokastik kurang lebih seperti itu: mengasumsikan suatu sifat matematis universal dari sistem, lalu membuktikan apakah itu cocok dengan data nyata
  • Pemahaman saya tentang kalkulus Itô seperti ini. Pada awalnya satu-satunya proses acak yang kita pahami adalah Brownian motion, dan untungnya kita bisa mengubah koordinat

    • Bisa jelaskan poin 2 sedikit lebih rinci?
  • Ini contoh yang sangat bagus tentang bagaimana menulis artikel pengantar yang ramah bagi pemula
    Khususnya bagian yang memotivasi lemma Itô lewat fakta bahwa suku dW^2 yang hilang dalam kalkulus biasa tetap penting di sini, dan bagian konversi ke Stratonovich, sangat bagus

  • Minta bantuan bagaimana membaca kalimat ini: “Brownian motion and Itô calculare a notable example of fairly high-level mathematics that are applied to model the real world”
    Saya tidak tahu “Itô calculare” seharusnya apa. Apakah “Its calculation”?