Kebenaran tentang Regresi Linear pada 2015

 (stat.cmu.edu)
1 poin oleh GN⁺ 2024-08-01 | 1 komentar | Bagikan ke WhatsApp
  • Berdasarkan catatan kuliah Carnegie Mellon 36-401 Modern Regression pada musim gugur 2015, ini adalah naskah pembelajaran untuk orang yang belajar atau mengajar regresi linear
  • Regresi linear tidak dikurung pada asumsi ala 1960-an, dan porsi teori yang bergantung pada Gaussian noise serta model linear yang ditentukan dengan benar dikurangi
  • Meski lebih intensif secara komputasi, pendekatan ini menekankan metode yang robust, dan diakui bahwa naskah ini sendiri mungkin belum cukup jauh melangkah ke arah itu
  • Sebagiannya tumpang tindih dengan bab kedua Advanced Data Analysis from an Elementary Point of View, tetapi juga memuat banyak materi baru dengan tingkat yang lebih dasar
  • Daftar isinya mencakup topik luas dari prediksi optimal, metode kuadrat terkecil, metode maximum likelihood, diagnostik, inferensi, multikolinearitas, pemilihan model, weighted/generalized least squares, pemilihan variabel, tree, hingga bootstrap

Sifat dan pendekatan naskah

  • Naskah ini adalah kumpulan catatan kuliah 36-401, Modern Regression, in fall 2015
  • Sambil mengakui bahwa materi tentang regresi linear sudah sangat banyak, naskah ini dipublikasikan karena dinilai berpotensi membantu orang yang belajar atau mengajarkannya
  • Dari sudut pandang bahwa statistika telah berkembang sejak 1960, naskah ini mengurangi penekanan pada teori yang bergantung pada model linear yang ditentukan dengan benar dan Gaussian noise
  • Susunannya diarahkan untuk lebih menyukai metode yang robust meski lebih intensif secara komputasi, dan penulis menambahkan bahwa ia mungkin belum cukup jauh melangkah ke arah tersebut
  • Ada sebagian tumpang tindih dengan Advanced Data Analysis from an Elementary Point of View, terutama terkait bab kedua “The Truth About Linear Regression”
  • Pada saat yang sama, naskah ini juga memuat banyak materi baru dengan tingkat yang lebih dasar, dan masukan serta koreksi, khususnya perbaikan kesalahan, sangat disambut

Cakupan bahasan dan pembaruan

  • Daftar isi saat ini membentang dari pemodelan dasar regresi linear hingga diagnostik, inferensi, dan teknik perluasan

  • Pemodelan dasar dan regresi sederhana

    • Optimal Prediction
    • Introducing Statistical Modeling
    • Simple Linear Regression Models, with Hints at Their Estimation
    • The Method of Least Squares for Simple Linear Regression
    • The Method of Maximum Likelihood for Simple Linear Regression
    • Diagnostics and Modifications for Simple Regression
    • Inference on Parameters
    • Predictive Inference for the Simple Linear Model
    • Interpreting Parameters after Transformation
    • F-Tests, R^2, and Other Distractions
    • Simple Linear Regression in Matrix Format

  • Regresi berganda dan topik lanjutan

    • Multiple Linear Regression
    • Diagnostics and Inference for Multiple Linear Regression
    • Polynomial and Categorical Regression
    • Multicollinearity
    • Tests and Confidence Sets
    • Interactions
    • Outliers and Influential Points
    • Model Selection
    • Review
    • Weighted and Generalized Least Squares
    • Variable Selection
    • Trees
    • The Bootstrap I
    • The Bootstrap II
    • Ke depannya, materi linear spatio-temporal estimation and prediction dari kelas Data Over Space and Time dapat dimasukkan ke dalam naskah
    • Wiener filter, kriging, dan sebagainya disebutkan sebagai contoh
    • Pembaruan teks terakhir adalah menjalankan ulang kode setelah pembaruan R dan memperbaiki salah ketik, dengan tanggal 20 Oktober 2025

Bacaan terkait

1 komentar

 
GN⁺ 2024-08-01
Pendapat Hacker News

  • Regresi linear sering kali diremehkan

    1. Semua uji statistik yang umum adalah model linear: https://lindeloev.github.io/tests-as-linear/
    2. Model linear berarti linear terhadap parameter, bukan terhadap nilai respons. Misalnya y = a*sin(x)+bx^2 juga merupakan model linear
    3. Jika memilih basis spline yang tepat, banyak hubungan non-linear antara variabel prediktor dan nilai respons juga dapat dimodelkan dengan model linear
    4. Kalau fleksibilitasnya masih kurang, menurut teorema Taylor, hubungan linear sering kali menjadi aproksimasi yang baik untuk hubungan non-linear
    • Saya sepenuhnya setuju dengan poin-poin ini, dan model linear seharusnya jauh lebih diakui
      Satu poin penting lagi: manusia, terutama dalam kelompok, secara rasional sulit melakukan selain pengambilan keputusan linear
      Dalam rapat untuk menentukan arah perusahaan, kita hanya bisa mengatakan hal seperti “mari tingkatkan biaya iklan, dan kurangi biaya akuisisi lain seperti kupon diskon”. Mencari keseimbangan antara “kenaikan biaya iklan” dan “penurunan biaya lain” adalah model linear sederhana
      Sekalipun ada model non-linear yang hebat, intinya bukan sekadar “interpretabilitas”, melainkan kelayakan eksekusi. Jika membawa hasil analisis regresi ke rapat, kita bisa dengan cepat memodelkan berbagai strategi dan memberi keyakinan rasional tentang arah yang akan diambil
      Saya dulu kesulitan menyampaikan insight yang bisa dieksekusi ke atasan, tetapi setelah memahami analisis regresi dengan benar, ternyata sangat mudah membuka dan memahami proses bisnis yang cukup kompleks dengan cepat
    • Terkait poin 3, dalam sebagian besar riset akademik dan pekerjaan industri, saya secara teknis cukup berhasil menggunakan generalized additive model. Artinya, model itu cocok dengan data
      Meski begitu, jarang sekali para pemangku kepentingan benar-benar memahaminya atau mengakui nilainya. Menurut saya, umumnya karena kemalasan dan kebiasaan
    • Saya penasaran kalau ada referensi berguna untuk poin 3
      Masalah yang sering saya lihat di literatur adalah penulis terlalu menginterpretasikan kemiringan model dengan suku kuadrat, misalnya Y = age + age^2, pada kelompok usia terendah dan tertinggi. Jika grafik hanya dilihat garisnya, bukan interval kepercayaannya, tampak seperti menurun pada usia tertua, tetapi sebenarnya itu bisa jadi kemiringan negatif semu yang muncul karena model kuadrat tidak dapat merepresentasikan asimtot. Contoh: https://www.researchgate.net/figure/Scatter-plot-of-the-quad...)
      Ketika tidak ada pilihan yang ditentukan secara teoretis, saya menggunakan polinomial fraksional. Misalnya, untuk x^s dengan s = {−2, −1, −0.5, 0, 0.5, 1, 2, 3}, strateginya adalah memilih polinomial yang paling cocok sambil menghindari overfitting: https://journal.r-project.org/articles/RN-2005-017/RN-2005-0...
      Ini bukan teknik yang buruk, dan saya juga sudah mencoba metode lain seperti regresi polinomial per segmen atau knot point, tetapi misalnya saya tidak terlalu tahu cara menguji interaksi kelompok antara dua spline yang memiliki knot. Begitu juga dengan model aditif: https://bookdown.org/ssjackson300/Machine-Learning-Lecture-N...
    • Jika sudut pandangnya tepat, SVM juga merupakan model linear murni, dan jika dilihat sangat reduksionis, jaringan saraf ReLU bisa disebut linear per segmen
      Namun penjelasan seperti ini mungkin lebih banyak menutupi daripada membantu. Memilih transformasi yang cocok untuk kasus tertentu adalah masalah yang sangat sulit. Masih tersisa pertanyaan: mengapa harus sin(x) dan x^2, bukan tanh(x) dan x^(1/2)?
    • Karena pengetahuan matematika saya hampir tidak ada, poin 2 mengejutkan. Setelah mencari sebentar, saya menemukan bahwa model linear katanya harus menghasilkan garis lurus jika digambar sebagai grafik, tetapi persamaan contoh yang diberikan bukan garis lurus
      Rasanya saya melewatkan sesuatu yang mendasar

  • Teknik terpenting dalam regresi adalah mengenali intersep. Kedengarannya sepele, dan sebenarnya memang sepele, tetapi menjadi berbeda begitu Anda mulai memasukkan interaksi antar-term. Saya sudah sangat sering melihat mahasiswa pascasarjana muda salah dalam hal ini
    Bayangkan model linear sederhana yang memakai skor ujian, usia (7–16 tahun), dan variabel kategori biner diagnosis autisme (0=kontrol, 1=autisme): score = age + diagnosis + age:diagnosis, yaitu score = (X1)age + (X2)diagnosis + (X3)age:diagnosis
    Jika X2 signifikan, mahasiswa yang naif akan berkata “ada perbedaan antar-kelompok!”, tetapi ia melewatkan bahwa ini adalah perbedaan kelompok yang diprediksi saat peserta berusia 0 tahun. Usia harus dipusatkan pada rata-rata, median, atau lebih baik lagi pada usia yang menjadi perhatian. Ketika interaksi masuk ke persamaan, semua estimasi parameter “orde lebih rendah” ditafsirkan relatif terhadap intersep
    Anda juga bisa melihat bahwa efek usia signifikan lalu mengira itu berlaku untuk kedua kelompok, tetapi X1 hanya memberi tahu kemiringan prediksi untuk kelompok referensi, yaitu kelompok kontrol. Interaksi menguji apakah kemiringan usia kedua kelompok berbeda. Selain itu, sekalipun interaksi tidak signifikan, efek usia pada kelompok autisme bisa saja tidak berbeda signifikan dari 0. Jika data berada di wilayah yang ambigu, perlu berhati-hati dalam interpretasi
    Bagi sebagian orang ini mungkin terlihat jelas, tetapi memahami ruang kondisional parameter dengan benar ketika ada term interaksi butuh usaha. Di sini saya mengabaikan dulu cara pengodean kelompok, misalnya apakah berbasis rata-rata keseluruhan atau menjadikan satu kelompok sebagai referensi, tetapi pelajarannya tetap sama. Anda harus memahami apa arti intersep dan siapa/apa yang dirujuknya

    • Model dengan term interaksi memang selalu sulit ditangkap secara intuitif. Biasanya, menuliskan term apa saja dari model yang masuk untuk tiap kelas respons membantu interpretasi
      Ada juga ExploreModelMatrix yang membantu pekerjaan ini: https://www.bioconductor.org/packages/release/bioc/html/Expl...
    • Kalau saya mengatakan sesuatu yang aneh di atas, beri tahu saya. Saya masih terus belajar
      Jika Anda seorang Bayesian garis keras yang membenci p-value, itu juga tidak apa-apa. Hanya saja saya sering melihat bahkan mahasiswa yang pintar pun kesulitan menafsirkan model dengan term interaksi secara alami, dan saya ingin menunjukkan arah yang benar
    • Bukan berarti “X1 hanya memberi tahu kemiringan prediksi untuk kelompok referensi, yaitu kelompok kontrol”. Dengan persamaan yang ditulis, X1 adalah nilai untuk seluruh kelompok. Anda belum membuat variabel dummy yang benar
      X1*age*isControl+X2*isControl+X3*isAutism+X4*isAutism*age+X5*age
      Begini barulah efek usia pada dua kelompok dan efek usia yang umum untuk kedua kelompok bisa dipisahkan
    • Sepertinya interpretasi ini benar
      Loading signifikan pada variabel diagnosis X2 tidak memberi tahu efek diagnosis pada usia tertentu. Kecuali pada usia 0 tahun
      Model harus dipusatkan ulang berdasarkan usia yang diminati

  • Saya mengambil 36-401 dan 36-402 di CMU 10 tahun lalu, saat itu diajarkan oleh Shalizi, dan keduanya adalah kelas statistik yang sangat bagus. Suka atau tidak, kelas itu membuat saya belajar base R
    Kelemahan besar regresi linear adalah asumsi-asumsi akademis yang diperlukan agar koefisien bisa ditafsirkan secara valid mudah dibuat pada dataset pengajaran yang kecil, tetapi hampir tidak pernah berlaku pada data dunia nyata yang berantakan; saya mempelajarinya dengan susah payah

    • Tergantung kasusnya. Asumsi terpenting adalah independensi observasi
      Jika ini tidak terpenuhi, Anda harus memakai model efek campuran untuk mencerminkan respons yang berkorelasi, atau mengagregasi respons dengan rata-rata. Menghitung rata-rata mengurangi varians tetapi juga mengurangi jumlah titik data, dan dalam perhitungan statistik-t uji Wald, keduanya saling meniadakan
      Untuk asumsi lain seperti normalitas residual, model linear sering kali cukup tahan terhadap pelanggaran dalam batas tertentu. Meski begitu, selalu baik untuk memahami dampak pelanggaran semacam itu, misalnya dengan menjalankan simulasi atau melihat histogram p-value dari data null
    • Sebaliknya, pada data dunia nyata yang berantakan, sering kali yang dibutuhkan adalah model yang cukup baik, bukan terpaku pada apakah p-value begini atau begitu

  • Saya suka bahwa regresi ridge diperkenalkan dalam konteks multikolinearitas
    Sekarang tampaknya hampir semua orang mempelajarinya sebagai teknik regularisasi untuk mencegah overfitting, tetapi salah satu kegunaan mendasarnya, dan mungkin asal-usulnya, adalah membagi bobot secara seimbang di antara prediktor yang sangat berkorelasi atau hampir dependen secara linear. Bahkan dengan data yang cukup banyak, prediktor seperti ini bisa menimbulkan masalah besar

  • Saya ingin melihat seseorang seperti peneliti kuantitatif di Citadel mengajarkan regresi linear. Saya penasaran bagaimana mereka menggunakannya, terutama apa yang mereka perhatikan, dan apakah ada hasil teoretis yang secara berarti mengubah cara mereka memandang masalah

    • Saya punya sedikit pengalaman terkait. Varian regularisasi itu wajib. Sampelnya terlalu sedikit, dan noise per sampel terlalu banyak
      Pada masalah terkait yaitu estimasi matriks kovarians, varian estimasi shrinkage populer. Yang paling sederhana adalah Linear Shrinkage dari Ledoit-Wolf
      Di luar jaringan saraf, tampaknya kebanyakan orang yang melakukan regresi memakai regresi linear dengan penyesuaian seperti ini yang disesuaikan dengan domain
      Khususnya di keuangan, terlalu mudah menipu diri sendiri dengan model yang lebih kompleks
    • Regresi linear, bahkan regresi dengan satu prediktor, adalah alat utama. Rasanya seperti hasil kali silang x'*y saja tidak cukup, membaginya dengan hasil kali dalam x'*x membuatnya pas (regresi), lalu kalau dibagi sekali lagi dengan hasil kali dalam lain y'*y, termasuk akar kuadrat, itu menjadi koefisien korelasi dan terasa berlebihan
      Sayangnya tidak ada rahasia besar atau pengungkapan spektakuler. Seperti yang dikatakan Jim Simons dalam wawancara Numberphile, ini adalah proses menumpuk sinyal lemah secara perlahan dan menyakitkan, serta membuat dan memperbaiki berbagai kotak dalam sistem. Sementara itu, antarmukanya pada umumnya sudah diketahui
      Dalam gambaran besar, metode fitting itu sendiri tidak memberi keuntungan besar. Setidaknya jangan sampai merusak
      Saya tidak pernah di Citadel, tetapi selama 20 tahun terakhir saya melakukan R&D kuantitatif dan trading

  • Saat S1, saya harus mempelajari ulang regresi linear berulang kali di berbagai mata kuliah. Tentu dengan asumsi-asumsi yang berlaku, menarik bahwa optimalitasnya bisa dibuktikan dengan teori statistik dan probabilitas
    Dalam program doktor ilmu komputer, saya terutama melihat masalah regresi yang memakai model deep learning. Saya tidak menanganinya langsung, tetapi rasanya cukup keren jika ada cara memindahkan bukti dan teorema ketat dari model linear klasik ke model regresi deep

  • “Data Analysis from an Elementary Point of View” karya Shalizi juga merupakan buku pengantar yang bagus: https://www.stat.cmu.edu/~cshalizi/ADAfaEPoV/
    Fokusnya besar pada model linear, model aditif, dan simulasi, dan itu memang arah yang tepat. 90% isi buku ini tidak berguna tanpa komputer, tetapi itulah realitas modern

  • Sepertinya tidak ada dalam tulisan ini, tetapi pada regresi linear pun muncul fenomena double descent yang sering terlihat dalam deep learning
    Untuk melihatnya, perlu memasukkan suatu regularisasi. Akan bagus jika pembahasan ini ditambahkan

    • Saya penasaran apakah ini merujuk pada makalah tertentu. Apakah penurunan kedua terjadi setelah model menjadi overparameterized seperti jaringan saraf? Saya juga penasaran jenis regularisasinya apa

  • Sebagai orang yang bulan ini mengajar regresi dengan XGBoost, ini tulisan yang enak dibaca. Berbeda dari banyak teks akademis, tulisannya sangat baik dan mudah didekati
    Saya terutama suka Bab 6, diagnostik visual. Bagian itu sangat bagus

  • Kelihatannya menarik, tetapi saya penasaran apakah ada yang tahu cara mengonversi PDF ini ke bentuk yang dioptimalkan untuk mobile