Tes marshmallow kurang andal untuk memprediksi fungsi saat dewasa

Kepuasan yang ditunda dan hasil saat dewasa: tes marshmallow tidak secara andal memprediksi fungsi saat dewasa

• Ringkasan penelitian
  • Studi ini memperluas pendekatan analisis dari Watts et al. (2018) untuk menyelidiki validitas prediktif jangka panjang dari kemampuan menunda kepuasan.
  • Peserta (n = 702; 83% kulit putih, 46% laki-laki) menyelesaikan tes marshmallow pada usia 54 bulan (1995-1996) dan menyelesaikan survei pada usia 26 tahun (2017-2018).
  • Dengan menggunakan analisis yang telah dipraregistrasi, penelitian ini menemukan bahwa kinerja dalam tes marshmallow tidak secara kuat memprediksi pencapaian, kesehatan, atau perilaku saat dewasa.
  • Ditemukan sedikit korelasi dengan pencapaian pendidikan (r = .17) dan indeks massa tubuh (r = - .17), tetapi hampir semua koefisien penyesuaian regresi tidak signifikan.
  • Tidak ditemukan pola penyesuaian yang jelas antara kemampuan menunda kepuasan dengan status sosial ekonomi atau gender.
  • Hasilnya menunjukkan bahwa kinerja tes marshmallow tidak secara andal memprediksi hasil saat dewasa.
  • Validitas prediktif dan validitas konstruk dari kemampuan menunda kepuasan dibahas.

Pernyataan ketersediaan data

• Studi ini telah dipraregistrasi di Open Science Framework (osf.io/67XFN).
• Karena data yang digunakan dalam studi saat ini (gelombang dewasa SECCYD) tidak tersedia untuk umum, sintaks analisis disediakan.
• Matriks korelasi dan statistik deskriptif untuk variabel utama disediakan.
• Gelombang pengumpulan data sebelumnya dari sampel SECCYD tersedia di Inter-University Consortium for Political and Social Research (icpsr.umich.edu/web/ICPSR/series/233).

Ringkasan GN⁺

• Studi ini menunjukkan bahwa tes marshmallow tidak dapat diandalkan untuk memprediksi pencapaian, kesehatan, dan perilaku saat dewasa.
• Ada sedikit korelasi dengan pencapaian pendidikan dan indeks massa tubuh, tetapi sebagian besar koefisien penyesuaian regresi tidak signifikan.
• Termasuk pembahasan tentang validitas prediktif dan validitas konstruk dari kemampuan menunda kepuasan.
• Studi ini berguna untuk meninjau kembali keyakinan yang sudah ada tentang validitas jangka panjang dari tes penundaan kepuasan.
• Sebagai studi lain dengan fungsi serupa, penelitian Moffitt et al. (2011) direkomendasikan.

[GN⁺]

Opini Hacker News

• Hasil studi asli telah dipertanyakan dalam studi tahun 2018 yang berskala lebih besar. Studi aslinya melibatkan 90 siswa, sementara studi lanjutan melibatkan 900 orang; studi itu menemukan korelasi yang sama, tetapi sebagian besar menghilang setelah mengendalikan pendapatan rumah tangga
  Kesimpulan yang wajar adalah bahwa pendapatan rumah tangga merupakan prediktor baik bagi kemampuan menunda kepuasan maupun prestasi akademik. Jika tumbuh di keluarga miskin, akses terhadap sumber daya material kurang stabil dan kurang dapat diprediksi, sehingga mengambil peluang yang ada sekarang bisa jadi lebih masuk akal daripada menunggu imbalan yang lebih besar di masa depan, dan dukungan akademik pun mungkin kurang. Studi baru ini melangkah lebih jauh dengan menilai bahwa korelasinya sendiri juga lemah
  [0] Watts, T. W., Duncan, G. J., & Quan, H. (2018). Revisiting the Marshmallow Test: A Conceptual Replication Investigating Links Between Early Delay of Gratification and Later Outcomes. Psychological Science, 29(7), 1159-1177. https://doi.org/10.1177/0956797618761661

  • Pendapatan rumah tangga adalah prediktor untuk banyak hal. Ia berkorelasi kuat dengan kode pos dan berfungsi hampir sama, dan dari sini ras atau kecenderungan politik pun bisa diprediksi cukup baik
    Banyak orang secara naif mengira bahwa jika data ras eksplisit dihapus, ras akan hilang dari model, tetapi kenyataannya ia tetap ada secara tidak langsung. Hal yang sama berlaku bukan hanya untuk ras atau politik, melainkan juga banyak faktor lain, sehingga statistik kausal menjadi bidang yang jauh berbeda dan sulit. Di sini prediktor bukan berarti penyebab, melainkan berarti berkorelasi; saya kurang suka istilah ini karena menimbulkan kebingungan
  • Saya tidak tahu soal anak-anak, tetapi masuk akal bahwa orang dewasa miskin memiliki kontrol impuls yang lebih buruk. Mereka punya lebih banyak kekhawatiran dan lebih sedikit hal yang dinantikan, dan mungkin bekerja 12 jam, bukan 8 jam
    Orang kaya yang terlalu banyak bekerja juga punya banyak kebiasaan buruk, tetapi karena mereka punya karier yang sukses, itu diperlakukan seperti mekanisme coping dan dipisahkan sebagai bagian dari kehidupan. Jika penelitian semacam ini pada akhirnya tampak membenarkan posisi kelas tersebut hanya karena ada tumpang tindih populasi antara peneliti dan kelas menengah atas, maka sinisme saya hanya akan terbukti benar
  • Fakta bahwa sebagian besar korelasi menghilang setelah pendapatan rumah tangga dikendalikan tidak banyak membuktikan apa pun. Sikap terhadap imbalan jangka panjang mungkin dipengaruhi oleh faktor budaya khas yang dibagi dalam keluarga, dan faktor itu dapat memengaruhi baik pendapatan maupun prestasi akademik
    Untuk menarik kesimpulan, perlu ditemukan eksperimen alamiah di mana perbedaan pendapatan sepenuhnya eksogen dan bukan disebabkan oleh faktor bersama
  • Pada Tabel 3, apakah seseorang berkulit putih merupakan prediktor yang sangat signifikan (p=0,007) untuk bisa menunggu lebih dari 7 menit, tetapi pada Tabel 7 mereka sama sekali tidak melaporkan kulit putih dalam kategori ras. Saya penasaran apakah itu berarti perbedaan di antara anak-anak kulit putih sepenuhnya dijelaskan oleh status sosial ekonomi dan kovariat lain
    Sebaliknya, jika itu berarti status sebagai orang kulit hitam memiliki efek yang tidak dijelaskan oleh kovariat lain, itu cukup kontroversial
  • Kesimpulannya tidak sejelas itu. Misalnya, bisa saja ada sifat genetik yang memengaruhi pengendalian diri

• Melihat berbagai detail eksperimen ini membuat kepercayaan dan minat saya terhadap ilmu sosial sangat berkurang. Dari sudut pandang seseorang yang terlatih dalam biologi kuantitatif, ketika melihat penelitian seperti ini, tampak daftar panjang faktor yang bisa membuat peneliti keliru menyimpulkan bahwa hipotesisnya benar
  Dalam kasus ini, tampaknya peneliti tidak memiliki cukup minat untuk melakukan penelitian berkualitas tinggi, dan seolah berangkat dari keyakinan moral atau penilaian nilai, menjalankan eksperimen, lalu menafsirkan hasilnya sedemikian rupa untuk mendukung “hipotesis” mereka. Karena sifat ilmu sosial, melakukan eksperimen yang jujur benar-benar sangat sulit

  • Justru karena alasan itulah Anda bisa membaca kritik yang sangat luas dan menyeluruh selama lebih dari 100 tahun terhadap sebagian besar “sains” sosial. Banyak orang tumbuh dengan diajari bahwa ada perbedaan kategori antara ilmu keras seperti fisika dan kimia, dengan ilmu lunak seperti ilmu sosial serta banyak subbidang biologi dan kedokteran
    Namun pembedaan itu banyak menghilang dari semangat zaman, dan sekarang banyak orang menerima apa pun yang terbit di “jurnal ilmiah” sebagai sesuatu yang sehat. Ini kemunduran besar dalam literasi sains publik, dan sedang meletakkan dasar yang membuat orang semakin meragukan bahkan kesimpulan dari ilmu keras yang sebenarnya
  • Dalam eksperimen psikologi, rasanya setan selalu berada pada detail. Bisa saja eksperimen hanya memberi isyarat halus kepada anak, dan yang diuji hanyalah seberapa baik anak itu membaca isyarat tersebut
    Apa persisnya kata-kata “kesepakatan” yang ditawarkan kepada anak, apakah hasilnya berubah jika redaksinya berubah, apakah itu masa kekurangan pangan atau masa berlimpah, apa norma budaya saat itu tentang “bagaimana seharusnya anak bertindak”—semuanya bisa berpengaruh. Rata-rata usia anak yang lebih tua atau lebih muda 6 bulan saja bisa berbeda, dan air, udara, serta cat di lokasi tes pun mungkin relevan
    Di hadapan faktor perancu potensial semacam ini, tampaknya dibutuhkan lebih banyak statistik dan kontrol dibanding eksperimen tumbukan fisika pada elektron. Namun bahkan fisikawan, dalam lingkungan yang sederhana dan dapat direplikasi, menetapkan standar 5 sigma yang ketat sebagai kriteria penemuan, dan outlier 3 sigma datang dan pergi. Karena standar seperti itu sulit dibayangkan secara realistis dalam psikologi, saya melihatnya sulit menjadi sains empiris yang dapat dipercaya
  • Saya pernah membaca tulisan yang selama bertahun-tahun mengkritik eksperimen spesifik ini dari baik psikolog maupun sosiolog. Eksperimen ini hanya populer di kalangan orang-orang di internet yang menganggap diri mereka “nerd keren” dan bersikap seperti ahli dalam segala hal
    Jika membaca tulisan para ilmuwan sungguhan yang lebih membosankan, mereka sudah mengeluhkan hal ini sejak bertahun-tahun lalu
  • Bahkan efek Dunning-Kruger pun merupakan penyalahgunaan statistik. Efek itu muncul bahkan pada sampel yang dibuat secara acak, karena data memiliki lantai dan plafon
    Jika skornya rendah, ruang untuk memperkirakan lebih rendah lagi terbatas, sehingga mudah untuk menilai kemampuan diri terlalu tinggi; jika skornya tinggi, ruang untuk memperkirakan lebih tinggi lagi terbatas, sehingga mudah untuk menilai kemampuan diri terlalu rendah
  • Ada alasan mengapa banyak ilmuwan secara diplomatis menggolongkan “sains” sosial sebagai ilmu lunak. Feynmann, yang merupakan ilmuwan yang kurang diplomatis, menyebutnya pseudosains

• Yang menarik, ketika melakukan riset awal, peneliti ingin eksperimennya memenuhi hipotesis mereka sendiri; ketika membangun di atas riset yang sudah ada, mereka ingin replikasinya berhasil. Namun untuk hasil yang terkenal seperti ini, orang justru berharap hasilnya gagal, karena dengan begitu orang-orang akan membicarakan hasil mereka sendiri
  Eksperimen semacam ini punya tak terhitung banyak cara untuk dipengaruhi secara tidak sadar dan halus oleh keinginan pelaku eksperimen. Sebagai tambahan, faktor perancu yang menarik dalam tes marshmallow adalah bahwa tes ini mengukur kepercayaan bahwa imbalan benar-benar akan diberikan, yang porsinya sama besarnya dengan kemampuan menunggu imbalan. Kalau hidup di lingkungan yang tidak dapat diprediksi, lebih baik langsung dimakan saja

  • Dari sudut pandang seseorang yang hidup di lingkungan yang tidak dapat diprediksi di Rusia tahun 90-an, kalimat yang lebih tepat adalah “kalau hidup di lingkungan yang tidak dapat diprediksi, lebih baik pindah ke lingkungan yang dapat diprediksi”
    Saya melihat jauh lebih banyak orang menabung untuk masa depan, dan justru terkejut karena di Kanada, yang merupakan lingkungan yang dapat diprediksi, kebalikannya lebih sering terjadi
  • Saya ingat faktor perancu itu dipakai sebagai penjelasan untuk menepis secara longgar masalah replikasi tes marshmallow, tetapi saya tidak ingat siapa yang benar-benar mengujinya
    Tulisan ini semuanya omong kosong, jadi tampaknya menunjukkan bahwa faktor perancu apa pun bisa dibuat-buat untuk menjelaskan apa saja
  • Sumber daya untuk studi replikasi terbatas, jadi perlu dialokasikan. Semakin terkenal sebuah hasil, biasanya semakin besar kemungkinannya menarik upaya replikasi yang bagus dan skeptis
    Cara ini selalu terlihat cukup masuk akal. Namun replikasi butuh waktu, sementara sebagian orang menganggap hasil yang “buruk” yang tidak segera diperbaiki sebagai bencana
  • Hal seperti itu jelas sering terjadi. Ketika saya melihat makalah yang sering dikutip untuk “membantah” Dunning-Kruger, saya terkejut melihat betapa buruk metodologinya
    https://www.lesswrong.com/posts/6Tqm8Jet9mzo6buj9/the-dunnin...

• Hampir semua riset yang saya pelajari di AP Psychology saat SMA gagal direplikasi, termasuk yang ini. Jika dipikir kembali, kelas itu paling baik hanya membuang waktu, dan paling buruk memberi informasi buruk untuk keputusan hidup

  • Reputasi para penulis seperti ini seharusnya diseret ke lumpur. Halaman wiki Daniel Kahneman tidak membuatnya terlihat seperti penipu, tetapi ia dengan percaya diri menyebut riset-riset yang tidak direplikasi dan juga memberi restu pada data palsu dari para penipu lain
  • Psikologi dan psikiatri bukanlah sains, melainkan cabang pseudosains dari filsafat, seperti osteopati atau frenologi. Alih-alih melakukan eksperimen yang terkontrol dan dapat direplikasi, membuat diagnosis klinis berbasis bukti, atau mengukur dan menguji organ yang mereka klaim mereka obati, mereka lebih mirip kelompok religius yang membaca ramalan dari ampas teh

• Interpretasi lain dari tes marshmallow adalah bahwa tes ini mengukur kepercayaan sama besarnya dengan pengendalian diri. Jika tidak percaya peneliti akan memberi dua marshmallow, anak tidak akan menunggu

  • Rendahnya kepercayaan pada peneliti rupanya menjelaskan rendahnya motivasi pencapaian akademik ;)
  • Ini sepertinya perlu tes berulang. Pada beberapa ronde pertama, perlu dicoba skenario ketika imbalan nanti tidak diberikan
  • Atau bisa saja ini omong kosong total yang sama sekali tidak punya daya prediksi, sehingga bisa ditafsirkan sesuka hati
  • Atau marshmallow kedua mungkin tidak terlalu menarik. Jika ditawari satu sekarang atau dua nanti, seseorang bisa memilih satu sekarang karena tidak menginginkan dua

• Anak-anak yang memercayai orang dewasa yang berjanji cenderung menunda kepuasan diri
  https://pubmed.ncbi.nlm.nih.gov/26799458/
  Dari sudut pandang teori permainan pun ini masuk akal. Jika anak punya model internal bahwa harus memakai prior distribusi normal untuk waktu tunggu sampai orang dewasa menepati janji—dengan kata lain, pengalaman bahwa sebagian besar orang dewasa dalam hidupnya cenderung menepati janji—maka menunggu itu rasional
  Sebaliknya, jika berdasarkan pengalaman ia harus mengasumsikan prior distribusi hukum pangkat, maka pada titik tertentu memutus kerugian sepenuhnya rasional. Interpretasi ini cukup indah karena berarti keberhasilan hidup berkorelasi dengan orang tua yang dapat dipercaya, dan jika melihat faktor waktu, saya menduga memang ada kausalitasnya juga

• Apakah ada tes psikologi terkenal yang benar-benar berhasil direplikasi?

  • Eksperimen konformitas Asch tampaknya dapat direplikasi: https://journals.plos.org/plosone/article?id=10.1371/journal...
    Selain itu, eksperimen psikologi cenderung menjadi terkenal karena kontroversial, dan hal itu sendiri bisa menciptakan bias yang merugikan replikabilitas. Eksperimen psikologi yang membosankan dengan hasil yang tidak terlalu mengejutkan mungkin sering direplikasi tanpa masalah
  • Saya cukup yakin tes “apakah orang akan menerbitkan omong kosong seolah-olah fakta demi ketenaran atau uang” telah direplikasi berkali-kali di berbagai bidang
  • Eksperimen apati pengamat telah direplikasi berkali-kali, begitu pula eksperimen Milgram
  • https://www.bps.org.uk/research-digest/ten-famous-psychology...
    Ini topik yang rumit dalam banyak hal

• Di lingkungan saya, secara anekdotal ini memang cocok. Di antara orang-orang yang tumbuh besar dan bersekolah bersama saya, mereka yang menunda kepuasan langsung dan punya tujuan jangka panjang cukup berhasil, sementara mereka yang hidup mengikuti arus tanpa rencana cenderung kesulitan dan sekadar bertahan
  Dalam hidup saya sendiri juga, perbedaan hasilnya besar antara saat saya punya tujuan atau visi dan saat saya hanya menjalani apa adanya. Menurut saya, di semua ranah penting—hobi, pasangan, karier, keluarga, dan relasi—perlu ada tujuan, visi, dan standar

  • Kecuali Anda benar-benar pernah melakukan tes marshmallow pada teman-teman saat kecil, jujur saya bahkan tidak yakin kita sedang membicarakan hal yang sama. Penelitian aslinya adalah contoh penerapan ekstrapolasi yang sangat besar pada fenomena yang sangat aneh dan spesifik
    “Berhasil dalam hidup”, “penundaan kepuasan”, dan “tujuan jangka panjang” jauh dari sifat yang bisa diukur secara konkret. Misalnya, bagaimana menilai seseorang yang selalu menunggu game sampai diskon, tetapi karena pernah mengalami ketidakamanan pangan tidak mampu menolak makanan gratis yang tidak sehat? Untuk menilai sifat seperti ini, variabelnya tak terhitung banyaknya. Yang dikatakan studi ini adalah bahwa mengekstrapolasi gambaran besar semacam itu dari indikator kecil mungkin bukan hal yang bijak
  • Jika trait kepribadian semacam itu memang ada, cukup jelas benar bahwa itu penting bagi kesuksesan. Namun apakah trait itu bisa diukur dengan menaruh marshmallow di depan anak berusia empat setengah tahun adalah pertanyaan yang sama sekali berbeda
  • Di sekitar saya, kedua kemungkinan bisa terjadi. Ada yang masuk Ivy League lalu akhirnya bekerja di pekerjaan teknis biasa, dan ada juga yang lulus dari Ivy League tetapi kesulitan mencari pekerjaan
    Sebaliknya, orang-orang yang hidup mengikuti arus juga sampai ke pekerjaan teknis biasa yang sama, dan mereka yang gagal di sekolah lalu nyaris hanya menyelesaikan community college akhirnya menjalankan usaha kecil yang sukses karena terus membangun jalan mereka sendiri
  • Saya rasa tidak selalu begitu. Saya mengenal banyak orang yang hidupnya berjalan cukup baik meski bergerak secara oportunistis, bukan berpusat pada tujuan. Menetapkan tujuan untuk pasangan, keluarga, dan relasi terdengar seperti resep menuju bencana
  • Itulah sebabnya penelitian psikologi abal-abal seperti ini berbahaya secara halus. Efek nyata mungkin saja ada, tetapi mungkin bukan efek pada level bayi dan marshmallow

• Beberapa bidang penelitian akan selalu lebih merupakan seni daripada sains. Sastra, seni, dan psikologi manusia termasuk di dalamnya
  Penulis, seniman, dan terapis hebat benar-benar bisa memberi kontribusi besar, tetapi mereka tidak bisa melakukan eksperimen ketat dan menetapkan kebenaran dalam angka. Tidak apa-apa
  Yang tidak baik adalah gerombolan psikolog akademis yang tidak mendapat pelatihan dalam disiplin kuantitatif atau “keras”, sehingga bahkan tidak tahu bahwa mereka sedang omong kosong. Di sini “keras” bukan berarti sulit, melainkan terdefinisi dengan baik

• Saat tumbuh besar, saya ingat pernah mengalami situasi seperti tes marshmallow, dan dari situ saya tidak belajar menunda kepuasan, melainkan belajar bahwa kalau menunggu atau berkorban, kita akan jadi korban
  “Kalau kamu menyerahkan ini sekarang, nanti saya beri dua” sering kali berubah menjadi “marshmallow kedua tidak ada, dan yang pertama juga tidak kembali”. Berapa kali anak-anak lain harus mengalami hal seperti ini sebelum belajar untuk tidak menunda kepuasan? Orang menyebutnya “kurang kendali impuls”, tetapi saya akan menyebutnya pelajaran dari pengalaman

  • Kekurangan pangan mengajarkan itu dengan cepat. Hampir semua pekerjaan di lapisan upah bawah bekerja seperti ini
    Janjinya seperti “kalau kamu melakukan dukungan pelanggan untuk perusahaan teknologi besar ini, kamu bisa masuk ke peran di divisi korporat”, tetapi persentase orang yang benar-benar berhasil seperti itu di antara yang direkrut hampir mendekati 0%. Salah satu hal baik dari Reddit adalah ia membuat sistem janji yang tidak ditepati yang menjalankan sebagian besar pekerjaan ritel dan jasa menjadi terlihat jelas