Terence Tao: Makalahnya Ditolak oleh Jurnal

• Matematikawan ternama dunia Terence Tao juga pernah ditolak karena jurnal dan makalahnya dianggap tidak cocok, dan ia pada umumnya menerima penilaian itu lalu mengirim ulang ke jurnal yang tampaknya lebih sesuai
• Bagi Tao, penolakan makalah bukan pengecualian langka, melainkan sesuatu yang rata-rata terjadi 1–2 kali per tahun; mahasiswa dan kolega di sekitarnya kerap terkejut bahwa tingkat penolakannya bukan nol
• Di dunia akademik, kasus seperti makalah diterima untuk terbit atau pembuktian berhasil jauh lebih terlihat, sehingga kegagalan biasa bisa terasa seolah hanya terjadi pada diri sendiri
• Di masa lalu, pernah ada kasus ketika makalah yang hampir menyelesaikan masalah tetapi memiliki epsilon loss, dan kemudian makalah pembuktian lengkapnya, sama-sama ditolak oleh jurnal bereputasi tinggi yang sama dengan alasan berbeda
• Penolakan jurnal sebaiknya tidak dipandang sebagai penilaian pribadi; lebih praktis memperbaiki makalah dengan mencerminkan masalah yang muncul dalam penelaahan, lalu memindahkannya ke jurnal lain

---

Penolakan dan pengiriman ulang kali ini

• Terence Tao mengungkapkan bahwa salah satu makalah yang ia kirimkan telah ditolak oleh sebuah jurnal
• Surat dari jurnal tersebut berisi pernyataan sopan bahwa makalahnya menarik, tetapi kurang cocok untuk jurnal itu
• Tao pada umumnya setuju dengan kesimpulan tersebut, lalu mengirimkan kembali makalahnya ke jurnal lain yang ia harapkan lebih sesuai

Kegagalan biasa yang kurang terlihat di akademia

• Bagi Tao, penolakan makalah adalah hal yang relatif umum, rata-rata terjadi satu atau dua kali setahun
• Ia sesekali menyampaikan fakta ini kepada mahasiswa dan kolega, dan sebagian dari mereka terkejut bahwa tingkat penolakannya tidak nol
• Di dunia akademik, keberhasilan jauh lebih sering dibagikan daripada kegagalan
  • Makalah diterima untuk terbit
  • Suatu hasil berhasil dibuktikan
• Sebaliknya, kegagalan yang tidak kontroversial jarang menyebar
  • Makalah ditolak
  • Upaya pembuktian tidak berhasil
• Karena bias pelaporan seperti ini, orang-orang di sekitar tampak seolah hanya mengalami keberhasilan atau hal-hal yang kontroversial, sementara karier sendiri terasa dipenuhi kegagalan biasa
• Tao memandang struktur semacam ini mungkin menjadi salah satu penyebab impostor syndrome yang luas di bidang tersebut
  • Namun impostor syndrome itu sendiri juga mungkin tidak banyak dibagikan karena bias pelaporan dan stigma
• Publikasi terbuka tentang penolakan kali ini lebih merupakan langkah kecil menuju keterbukaan yang lebih akurat

Paradoks yang dibuat oleh epsilon loss dan epsilon improvement

• Tao menjelaskan bahwa beberapa penolakan di masa lalu, jika dilihat kembali, menjadi kasus yang agak lucu
• Ia pernah hampir menyelesaikan sebuah konjektur bersama rekan penulis
  • Mereka menetapkan hasil dalam bentuk yang memiliki epsilon loss pada parameter kunci
  • Makalah itu dikirim ke jurnal bereputasi tinggi, tetapi ditolak karena belum menyelesaikan keseluruhan konjektur
  • Setelah itu dikirim ke jurnal lain dan makalahnya diterima
• Tahun berikutnya, mereka membuktikan konjektur yang sama sepenuhnya tanpa epsilon loss
  • Mereka kembali mengirimkannya ke jurnal bereputasi tinggi tersebut, tetapi kali ini ditolak dengan alasan bahwa itu hanya epsilon improvement dibanding literatur yang sudah ada
  • Makalah ini juga dikirim ke jurnal lain dan diterima
• Tao kemudian pernah menerbitkan makalah di jurnal selektif tersebut juga

Penolakan dari sudut pandang editor

• Tao juga memiliki pengalaman sebagai editor yang harus menolak kiriman yang sebenarnya layak karena berbagai alasan
• Ia berpendapat penolakan semacam ini sebaiknya tidak dianggap secara pribadi
• Sebaiknya makalah direvisi dengan mencerminkan masalah yang diajukan dalam penolakan, lalu dipindahkan ke jurnal lain

Proses penelaahan dan konflik kepentingan

• Ketika sebuah komentar menanyakan kemungkinan “penolakan balasan dendam”, Tao menjawab bahwa ia tidak pernah mengalaminya
• Dalam proses pengajuan ke jurnal, reaksi yang memanas secara emosional sulit memberi pengaruh besar
  • Di antara laporan penelaahan ada jeda berbulan-bulan
  • Di antara diskusi dewan editor ada jeda berminggu-minggu
  • Sebagian besar pekerjaan berlangsung melalui email dan platform editorial, ketika para editor memiliki waktu
• Jika editor atau penelaah memiliki hubungan pribadi atau profesional dengan penulis yang dapat mengganggu objektivitas, mengundurkan diri dari penanganan (recuse) bukan hal yang jarang
• Karena alasan serupa, penulis umumnya sebaiknya tidak mengirimkan makalah kepada editor yang merupakan teman dekat atau kolega profesional
  • Sebab editor tersebut mungkin harus recuse dan menyerahkan makalahnya kepada editor lain

Impostor syndrome yang dialami Tao

• Tao menjawab bahwa ia sendiri pernah beberapa kali mengalami impostor syndrome
• Ia merasakan hal itu terutama ketika menjadi ketua komite yang menyusun laporan tentang topik penting dan terkait dengan minatnya, tetapi berada di bidang yang tidak cukup ia kuasai untuk berbicara dengan otoritatif
• Ia menyadari bahwa anggota komite lain memiliki pengalaman yang jauh lebih banyak daripada dirinya
• Setelah itu ia memahami bahwa peran ketua bukanlah membuat sebagian besar isi secara langsung, melainkan menciptakan lingkungan dan struktur agar anggota komite lain bersedia menyampaikan pemikiran dan ide mereka

Cara melengkapi diri saat masuk ke bidang matematika baru

• Tao juga mengalami perasaan serupa ketika masuk ke subbidang matematika baru
• Terutama pada bidang yang banyak melibatkan algebra atau topology; ia menyatakan bahwa keduanya selalu menjadi bidang matematika yang paling lemah baginya
• Keahlian yang dibutuhkan ia lengkapi dengan beberapa cara
  • Rekan penulis sering menyediakan keahlian di area tersebut
  • Kolaborasi seperti itu menjadi pengalaman belajar yang sangat berharga bagi Tao
  • Ia juga bertanya tentang dasar-dasarnya kepada teman lama, bahkan yang sudah ia kenal sejak masa sekolah pascasarjana
• Wikipedia, MathOverflow, dan belakangan ini model bahasa besar juga ia anggap cukup baik untuk memperoleh informasi latar belakang
  • Notasi yang benar untuk suatu konsep
  • Mengapa konsep itu diteliti
  • Apa referensi standarnya
• Namun sumber-sumber seperti ini hanyalah titik awal pengetahuan, bukan jawaban akhir; sedapat mungkin informasi perlu diverifikasi secara independen

[GN⁺]

Komentar Hacker News

• Pada 2005, ada makalah yang menunjukkan RSA bisa dibobol dengan mengamati satu operasi kunci privat dari hyperthread lain yang berbagi cache L1 yang sama, tetapi ditolak oleh arsip preprint kriptografi dengan alasan “ini soal arsitektur CPU, bukan kriptografi”
  Itu secara harfiah merupakan publikasi pertama tentang serangan kriptografi berbasis cache bersama, dan penolakan jurnal mirip dengan penolakan modal ventura: selalu terjadi dan tidak selalu ada alasan yang benar-benar masuk akal
  Makalah ini tidak pernah terbit di jurnal, tetapi menurut Google Scholar sudah dikutip 971 kali

  • Jurnal itu yang rugi. Kalau dimuat, h-index dan reputasinya mungkin akan naik cukup banyak
  • Waktu adalah penilai yang lebih baik daripada siapa pun di jurnal mana pun
  • Apakah ini ada di arXiv? Kalau belum, semoga diunggah ke sana

• Judulnya terasa membingungkan karena penolakan makalah itu sangat umum dalam riset, dan justru itulah intinya, salah satu tujuannya adalah mengurangi sindrom impostor
  Menurut saya ini upaya yang bagus. Langkah berikutnya mungkin membuat semua orang sadar bahwa peneliti pada akhirnya juga manusia biasa seperti orang lain. Kalau begitu, mungkin sisa sindrom impostor pun akan hilang
  Meski begitu, saat menjalani program doktoral, walaupun penolakan itu umum, rasanya tetap berat. Ada ekspektasi untuk menerbitkan beberapa makalah di jurnal bergengsi dalam waktu singkat jika memungkinkan, dan satu penolakan terasa memperlambat laju sementara waktu terus berjalan. Akan bagus kalau setidaknya sebagian dari sistem yang merusak ini bisa dikurangi

  • Ini menonjol karena yang menulisnya adalah Terence Tao. Banyak orang menganggapnya matematikawan terbaik yang masih hidup
    Kalau membaca keseluruhan tulisannya, pesannya memang sama. Bahkan Terence Tao pun ditolak makalahnya, jadi penolakan itu hal yang umum dan normal, dan tidak perlu dianggap seperti kiamat
  • Ini terasa sangat penting justru karena yang mengatakannya adalah orang seperti Terence Tao. Kalau salah satu matematikawan terbaik pun bisa ditolak makalahnya, maka secara harfiah itu bisa terjadi pada siapa saja
  • Menyenangkan tahu bahwa dia juga tidak sempurna, tetapi pencapaiannya tetap jauh melampaui pencapaian saya, jadi sindrom impostor saya tetap ada
  • Saya tidak setuju dengan gagasan bahwa para peneliti itu “sama seperti orang lain”. Mereka adalah orang-orang yang mengasah keterampilan dan pengetahuan di satu bidang selama lebih dari 10 tahun hingga menjadi pakar di subbidang, kadang bahkan di seluruh bidangnya
    Dalam konteks ini, mereka jelas bukan orang biasa yang acak
  • Terence Tao mengalami sindrom impostor? Jangan-jangan justru sindrom impostor yang sedang mengalami Terence Tao. Memangnya kamu tahu siapa Terence Tao?

• Adam Grant pernah membagikan penolakan peer review double-blind yang lucu. Salah satu reviewer menulis alasan penolakan seperti, “penulis sebaiknya membiasakan diri dengan riset Adam Grant”

  • Kenyataan meniru seni. Dalam film komedi 1986 Back to School, karakter Rodney Dangerfield menyerahkan tugas kuliahnya kepada para pakar di masing-masing bidang
    Guru sastra Inggris menegurnya dan berkata bahwa dia jelas tidak hanya curang, tetapi juga menjiplak esai dari seseorang yang bahkan tidak mengenal karya Kurt Vonnegut. Tentu saja, esai itu sebenarnya ditulis oleh Vonnegut sendiri yang muncul sebagai cameo
  • Sebagai catatan awal, saya tidak cukup tahu apakah ini juga berlaku di matematika
    Kita sering mendengar cerita seperti ini, tetapi ini memang benar-benar terjadi. Para peneliti senior terkenal kadang berhati-hati agar tidak terlalu banyak mengutip riset mereka sendiri, atau mereka begitu akrab dengan riset mereka sendiri sehingga tidak memasukkannya secara memadai dalam tinjauan pustaka
    Bagi orang lain di bidang tersebut, sudah jelas bahwa riset tokoh terkenal X harus mengisi porsi besar tinjauan pustaka, dan bahwa riset baru harus secara eksplisit menjelaskan bagaimana ia melanjutkan riset transformatif X sebelumnya
    Karena berbagai alasan, seseorang bisa gagal menjelaskan riset lamanya sendiri untuk pembaca tertentu, dan banyak akademisi senior memang sering begitu. Akibatnya, tulisannya bisa tampak tak berbeda dari tulisan mahasiswa pascasarjana dan akhirnya ditolak
  • Hal seperti ini cukup umum. Dan belum tentu tidak masuk akal juga. Kadang saat menulis makalah, seseorang gagal memberi konteks yang cukup terhadap riset relevan miliknya sendiri
  • Sebagai reviewer, saya pernah melakukan kesalahan serupa. Draf awal penulis tampak bertentangan dengan makalah lama, tetapi ternyata saya melewatkan sebagian konteks
  • Kalau mau jadi pembela setan, ingatan manusia tidak sempurna dan orang bisa salah. Mungkin Adam Grant juga seharusnya membaca lagi riset-riset lamanya sebagai penyegaran
    Bahkan kalau dia tidak salah pun, mungkin ada hal yang dia kira sudah diterbitkan padahal sebenarnya terlewat
    Sebagai developer, kalau kamu pernah melihat kode yang mengerikan, marah-marah mencari siapa yang menulis monster itu, lalu sadar ternyata itu buatanmu sendiri, ya rasanya seperti itu

• Saat peneliti membuka kegagalan mereka sendiri, rasanya menyegarkan. Sains sebenarnya dibangun dari hasil negatif, kesalahan, dan penolakan, tetapi biasanya digambarkan jauh lebih tidak realistis
  Mungkin sebagian orang di sini sudah tahu, tetapi tautan ke Journal of Negative Results ada di sini: https://www.jnr-eeb.org/index.php/jnr

• Cukup mengejutkan bahwa Terence Tao masih ditolak makalahnya oleh jurnal matematika. Tetap saja, terima kasih karena dia membagikannya, dan mendengar hal seperti ini darinya mungkin bisa membuat ilmuwan muda tidak terlalu patah semangat saat ditolak
  Saya beruntung pernah mendapat kesempatan postdoc dengan salah satu nama paling terkenal di bidang saya, dan saya terkejut melihat betapa besarnya pengaruh nama besar itu
  Saat kami mengajukan dengan dia sebagai corresponding author, kami tidak pernah sekali pun ditolak oleh jurnal papan atas. Saya cukup yakin kalau bukan karena namanya, editor akan menolak dengan alasan riset saya pada dasarnya bukan topik yang cukup menarik. Hanya fakta bahwa seorang tokoh terkenal tertarik pada sesuatu saja sudah bisa menjadikannya topik berdampak tinggi

  • Kalau bahkan Terence Tao pun bisa ditolak oleh jurnal matematika, setidaknya itu berarti ada saat-saat ketika sistem bekerja dengan cukup benar
  • Bukankah bisa jadi karena dia lebih dulu meninjau makalah itu dan membawanya ke kondisi yang layak terbit? Atau menurutmu itu benar-benar efek nama besar semata, dan tanpa itu makalahnya tidak akan diterima?

• Seorang guru telah gagal lebih banyak kali daripada yang pernah dicoba oleh seorang pemula

• “Penolakan sebenarnya cukup umum bagi saya, rata-rata terjadi sekali atau dua kali setahun”
  Ini terasa seperti manusia super yang sedang berusaha berempati dengan manusia biasa

• Tingkat kegagalan yang tidak nol sering kali bisa optimal karena memberi umpan balik yang berguna untuk menemukan rentang optimal bagi berbagai metrik. Misalnya kecepatan, kualitas, atau least publishable unit (LPU)
  Meski begitu, mengingat tenaga kerja yang masuk ke penerbitan dan review akademik, tingkat penolakan optimal seharusnya cukup rendah. Artinya kita butuh cara yang lebih murah untuk menyaring makalah lebih awal. Di sisi lain, reviewer juga bisa memperoleh nilai dari makalah yang ditolak
  [1] least publishable unit

• Kalau terlalu lama di fisika, pada akhirnya kamu akan mengalami mengajukan makalah ke Physical Review Letters yang dibatasi sekitar 4 halaman, ditolak dengan alasan “tidak cukup menarik secara umum”, lalu mengajukannya lagi ke bagian lain dari The Physical Review dan lolos
  Belakangan ini saya banyak membaca makalah ilmu komputer dari sudut pandang pemecahan masalah, dan secara pribadi saya sering merasa makalah pendek umumnya tidak berguna. Misalnya, kamu membayar 30 dolar untuk makalah 4 halaman yang katanya memberi fungsi ranking bagus untuk named entity recognition, lalu ternyata sebenarnya tidak memberi fungsi ranking yang bagus sama sekali

• Tentu saja bahkan matematikawan papan atas pun ditolak makalahnya
  Tetapi yang lebih penting adalah bahwa sangat sedikit orang yang benar-benar bisa mengirimkan makalah ke jurnal matematika papan atas