Kebenaran tentang Linear Regression pada 2015

 (stat.cmu.edu)
1 poin oleh GN⁺ 2024-08-01 | 1 komentar | Bagikan ke WhatsApp

Kebenaran tentang Regresi Linear

  • Pendahuluan

    • Dokumen ini didasarkan pada catatan kuliah yang ditulis saat mengajar 36-401, kuliah regresi modern, pada musim gugur 2015
    • Dapat membantu orang yang belajar atau mengajarkan regresi linear
    • Mengurangi bagian yang bergantung pada noise Gaussian dan model linear yang dispesifikasikan secara tepat dalam teori yang ada, serta menekankan teknik yang lebih intensif secara komputasi namun lebih tangguh

  • Teks lengkap PDF

    • File data
    • Kode R untuk tiap bab
    • Ringkasan saat ini

  • Prediksi optimal

    • Pengantar pemodelan statistik
    • Petunjuk tentang model regresi linear sederhana dan estimasi

  • Metode kuadrat terkecil untuk regresi linear sederhana

    • Metode maksimum likelihood untuk regresi linear sederhana
    • Diagnosis dan perbaikan regresi sederhana
    • Inferensi terhadap parameter
    • Inferensi prediksi untuk model linear sederhana
    • Interpretasi parameter setelah transformasi
    • Uji F, R^2, dan hal-hal lain yang perlu diperhatikan
    • Regresi linear sederhana dalam bentuk matriks

  • Regresi linear berganda

    • Diagnosis dan inferensi regresi linear berganda
    • Regresi polinomial dan kategorikal
    • Multikolinearitas
    • Pengujian dan interval kepercayaan
    • Interaksi
    • Outlier dan titik yang berpengaruh
    • Pemilihan model
    • Tinjauan
    • Metode kuadrat terkecil berbobot dan tergeneralisasi
    • Pemilihan variabel
    • Pohon
    • Bootstrap I
    • Bootstrap II

Ringkasan GN⁺

  • Dokumen ini menawarkan pendekatan modern terhadap regresi linear dan menekankan metode komputasi yang lebih tangguh untuk mengatasi keterbatasan teori konvensional
  • Membahas secara komprehensif dari dasar-dasar pemodelan statistik dan analisis regresi hingga topik lanjutan
  • Secara khusus mencakup topik penting dalam praktik seperti multikolinearitas, pemilihan variabel, dan bootstrap
  • Dokumen ini dapat berguna bagi mahasiswa atau praktisi yang mempelajari statistika dan data science
  • Proyek lain dengan fungsi serupa adalah "Advanced Data Analysis from an Elementary Point of View"

Bacaan terkait

1 komentar

 
GN⁺ 2024-08-01
Komentar Hacker News

  • Kebanyakan orang tidak benar-benar memahami regresi linear

    • Semua uji statistik umum adalah model linear
    • Model linear bersifat linear terhadap parameter, bukan terhadap respons
    • Dengan memilih basis spline yang tepat, banyak hubungan non-linear antara prediktor dan respons dapat dimodelkan dengan model linear
    • Menurut teorema Taylor, hubungan linear bisa menjadi pendekatan yang baik untuk hubungan non-linear

  • Saya mengambil kelas statistika di CMU 10 tahun lalu, dan senang bisa belajar R

    • Kelemahan besar regresi linear adalah bahwa ia valid untuk dataset pelatihan yang kecil, tetapi sulit diterapkan pada data nyata

  • Ridge Regression berguna untuk menyelesaikan masalah multikolinearitas

    • Sekarang ini biasanya diajarkan sebagai teknik regularisasi untuk mencegah overfitting, tetapi awalnya digunakan untuk menyeimbangkan bobot di antara prediktor yang sangat berkorelasi

  • Saya ingin belajar bagaimana peneliti kuantitatif di Citadel menggunakan regresi linear

    • Saya penasaran hasil teoretis apa yang mereka anggap penting

  • Saya mempelajari regresi linear beberapa kali selama program sarjana

    • Optimalitasnya dapat dibuktikan melalui statistika dan teori probabilitas

  • Di program doktoral, saya terutama menangani masalah regresi menggunakan model deep learning

    • Akan bagus jika ada cara untuk menerapkan pembuktian dan teorema ketat dari model linear klasik pada model regresi deep learning

  • "Data Analysis from an Elementary Point of View" karya Shalizi adalah buku pengantar yang bagus

    • Berfokus pada model linear dan aditif serta simulasi
    • 90% isi buku ini tidak berguna tanpa komputer, tetapi itulah kenyataan modern

  • Keterampilan paling penting dalam regresi adalah mengenali intersep

    • Jika memasukkan suku interaksi, penting untuk memahami makna intersep
    • Misalnya, dalam model linear sederhana yang mencakup usia dan variabel diagnosis autisme, kita harus memahami apa arti intersepnya

  • Sebagai orang yang mengajar regresi menggunakan XGBoost, tulisan ini sangat bermanfaat dan mudah diakses

    • Terutama bab 6, diagnostik visualnya ditulis dengan sangat baik

  • Meskipun tidak disebutkan dalam tulisan ini, regresi linear juga menunjukkan fenomena Double Descent yang sering terlihat dalam deep learning

    • Untuk itu, regularisasi perlu diperkenalkan

  • Saya penasaran apakah ada yang tahu cara mengonversi PDF ini ke bentuk yang dioptimalkan untuk perangkat seluler