Prediksi Memerlukan Margin Kesalahan

 (andrewpwheeler.com)
2 poin oleh GN⁺ 2023-12-05 | 1 komentar | Bagikan ke WhatsApp

Perlunya Margin Kesalahan dalam Analisis dan Prediksi Kejahatan

  • Menekankan bahwa prediksi kejahatan harus menyertakan margin kesalahan
  • Richard Rosenfeld membahas prediksi tingkat kejahatan nasional dalam tulisan yang baru-baru ini ia kirimkan ke Criminologist
  • Ada keluhan bahwa FBI merilis statistik kejahatan terlambat satu tahun, tetapi kalangan akademik memberikan "prediksi" yang bahkan lebih terlambat

Analisis Menggunakan Model ARIMA

  • Menganalisis seperti apa kesalahan prediksi yang masuk akal dengan menggunakan model ARIMA di Python
  • Data dan kode tersedia di GitHub
  • Menjelaskan proses pengaturan format data dengan benar, beserta penjelasan singkat tentang pemuatan data dan impor pustaka

Persiapan Fitting Model

  • Melakukan fitting model ARIMA(1,1,2) dengan kondisi yang serupa dengan makalah Richard
  • Memberikan penjelasan dan perbandingan terhadap model Richard, serta hasil output model tersebut

Prediksi dan Margin Kesalahan

  • Menggunakan paket statsmodels untuk menambahkan data baru dan melakukan prediksi satu langkah ke depan
  • Menyajikan hasil prediksi yang menunjukkan bahwa standard error prediksi meningkat seiring waktu

Perbandingan dengan Estimasi Richard

  • Menghitung MAPE (Mean Absolute Percentage Error) dari masing-masing model dengan membandingkannya dengan nilai prediksi Richard
  • Menunjukkan interval prediksi dan menekankan bahwa nilai yang diamati masih konsisten dengan model yang diestimasi

Poin Akhir

  • Berargumen bahwa tidak masalah jika Richard terus membuat kesalahan besar dalam prediksi kejahatan tingkat makro
  • Berpendapat bahwa prediksi kejahatan di tingkat nasional tidak membantu respons kebijakan
  • Sebagai contoh penerapan prediksi kejahatan yang nyata, mengajukan cara memprediksi kebutuhan penambahan personel polisi seiring pertumbuhan kota

Pendapat GN⁺

Poin terpenting dalam tulisan ini adalah penekanan pada pentingnya margin kesalahan dalam prediksi kejahatan dan perlunya mengakui ketidakpastian dalam prediksi. Meskipun prediksi kejahatan mungkin tidak secara langsung berguna untuk pengambilan kebijakan, pemodelan prediktif tetap dapat digunakan sebagai alat penting untuk memverifikasi validitas teori kriminologi. Tulisan ini menawarkan insight yang menarik bagi orang-orang yang berada di persimpangan antara data science dan kriminologi, serta menyajikan pembahasan mendalam tentang keterbatasan model prediksi dan cara untuk mengatasinya.

Bacaan terkait

1 komentar

 
GN⁺ 2023-12-05
Opini Hacker News

  • Keterkaitan antara prediksi dan pengambilan keputusan

    • Prediksi pada umumnya harus berujung pada pengambilan keputusan.
    • Ketika prediksi dipisahkan dari pengambilan keputusan, nilainya menjadi tidak jelas.
    • Rosenfield tampaknya mencoba menggunakan prediksi untuk menambah bobot pada kesimpulan statistik tentang data masa lalu, tetapi ini meragukan.

  • Makna error bar

    • Makna error bar tidak jelas.
    • Salah satunya adalah interval kepercayaan (model memberikan probabilitas 95% bahwa output akan berada dalam rentang ini).
    • Yang lain adalah deviasi standar (memprediksi selisih kuadrat antara prediksinya sendiri dan hasilnya).

  • Pentingnya error bar

    • Error bar memberikan pemahaman yang lebih baik saat membandingkan manfaat dari perlakuan baru.
    • Sebagian orang menganggap hal ini membuat masalah menjadi membingungkan.
    • Mendapatkan error bar yang bermakna dalam beberapa kasus sangat sulit.

  • Meninjau distribusi statistik

    • Secara rutin melihat histogram (distribusi statistik) untuk metrik penting.
    • Dalam masalah kecepatan pemanggilan layanan web, muncul dua puncak yang jelas.
    • Dua puncak yang mewakili pengguna yang logout dan pengguna yang login memberi pemahaman lebih dalam tentang akar masalah.

  • Error bar untuk estimasi tanggal

    • Estimasi tanggal (yaitu deadline) juga harus memiliki error bar.
    • Tanggal adalah prediksi, dan tanpa estimasi ketidakpastian, itu tidak bermakna.

  • Pentingnya kuantifikasi ketidakpastian

    • Dalam data science dan terutama machine learning, kuantifikasi ketidakpastian sering diabaikan.
    • Praktisi tidak selalu memiliki latar belakang statistik.

  • Perbandingan antara prediksi dan pengukuran

    • Prediksi dapat dipandang sebagai pengukuran terhadap masa depan.
    • Setiap pengukuran yang dilakukan tanpa pengetahuan tentang ketidakpastian tidak bermakna.

  • Kesalahpahaman tentang cuaca

    • Awalnya saya mengira tulisan ini tentang cuaca.

  • Prediksi untuk saat ini atau masa lalu, yaitu nowcasting

    • Seni memprediksi masa kini atau masa lalu sambil menunggu data.
    • Tanpa margin of error, ini adalah sains/statistik yang tidak akurat.

  • Prediksi yang berguna meski tanpa error bar

    • Terkadang prediksi titik sederhana saja sudah diperlukan untuk memandu tindakan.
    • Pengetahuan penuh tentang distribusi prediksi dapat membantu dalam membuat keputusan yang baik.

  • Keunggulan Gaussian process regression

    • Gaussian process regression (atau kriging) memiliki keunggulan besar.

  • Kebutuhan akan interval kepercayaan/prediksi/toleransi untuk semua estimasi/prediksi/peramalan/interpolasi/ekstrapolasi

    • Harus ada interval kepercayaan/prediksi/toleransi yang mencakup asumsi yang dimasukkan tim ke dalam masalah.