Word2Vec menerima empat penilaian 'penolakan keras' di ICLR2013

Estimasi ruang vektor untuk representasi kata yang efisien

• Para peneliti mengusulkan dua arsitektur model baru untuk menghitung representasi vektor kontinu kata dari himpunan data yang sangat besar.
• Kualitas representasi ini diukur pada tugas kemiripan kata dan dibandingkan dengan berbagai jenis teknik berbasis jaringan saraf yang sebelumnya menunjukkan kinerja terbaik.
• Tim peneliti mengamati peningkatan akurasi yang signifikan dengan biaya komputasi yang jauh lebih rendah. Artinya, pada himpunan data 1,6 miliar kata, vektor 300 dimensi berkualitas tinggi untuk 1 juta kosakata dapat diturunkan dalam waktu kurang dari satu hari dengan satu CPU.
• Mereka juga menunjukkan bahwa vektor-vektor ini memberikan kinerja mutakhir pada himpunan uji untuk mengukur berbagai jenis kemiripan kata.
• Himpunan uji ini direncanakan akan dibuka agar dapat digunakan oleh komunitas riset.

Opini

• Para reviewer menunjukkan bahwa kurang ada motivasi yang jelas mengenai bagaimana model yang diusulkan berbeda dari model yang ada, dan mengapa model tersebut lebih unggul.
• Penjelasan model sangat minim, sehingga sulit menentukan bagaimana perbedaannya dari penelitian sebelumnya.
• Para reviewer menekankan bahwa makalah ini mencakup perbandingan yang tidak konsisten antara model yang dilatih pada berbagai himpunan data dan dimensi yang berbeda, padahal hal itu diperlukan agar klaim makalah menjadi meyakinkan.

Opini GN⁺

• Penelitian ini mengusulkan teknik baru untuk mengestimasi vektor kata secara efisien, yang merupakan kemajuan penting di bidang pemrosesan bahasa alami.
• Model yang diusulkan dapat dilatih jauh lebih cepat dibandingkan model jaringan saraf kompleks yang sudah ada, sehingga dapat berguna untuk penelitian yang menangani data bahasa berskala besar.
• Makalah ini juga menyajikan cara baru untuk mengevaluasi kualitas vektor kata, yang berpotensi menjadi standar dalam penelitian mendatang untuk mengukur kemiripan kata.

[GN⁺]

Komentar Hacker News

• Postingan Facebook Tomas Mikolov memuat lebih banyak detail tentang word2vec.

  • Menarik sekaligus bermakna bahwa para ahli pun bisa melakukan kesalahan.
  • Ada beragam reaksi, seperti Geoff Hinton yang mengatakan "sudah tahu tetapi lupa memublikasikannya", dan Ian Goodfellow yang marah soal ini di Twitter.

• Saya rasa para reviewer telah melakukan pekerjaan yang baik.

  • Review menilai kualitas makalah, bukan seberapa besar pengaruhnya di masa depan.
  • Tidak semua makalah yang berpengaruh benar-benar bagus.

• Komentar reviewer f5bf menarik.

  • Model-model mutakhir (GPT, model difusi gambar, dll.) punya kemampuan untuk memainkan makna ganda kata.
  • Ini dulu dianggap sebagai ciri khas manusia, tetapi sekarang sudah masuk ke kotak peralatan model generatif.
  • Belum jelas apakah ambiguitas word2vec berkontribusi pada kemampuan permainan kata ini, tetapi untuk tujuan kreatif itu bisa menjadi fitur, sementara saat ingin memodelkan ruang makna sebagai ruang vektor yang ketat, itu bisa menjadi bug.

• Ada pendapat bahwa proses review tidak efektif untuk ide-ide baru.

  • Tidak ada orang yang bisa meluangkan sangat banyak waktu untuk memahami sesuatu yang benar-benar baru.

• Versi awal makalah ini memang ditolak, tetapi kemudian diperbarui dan diperjelas berdasarkan review.

  • Ini menunjukkan bagaimana proses review seharusnya bekerja, dan terutama untuk karya yang inovatif memang dibutuhkan penjelasan yang lebih banyak.

• Ada empat opini "penolakan kuat", tetapi semuanya tampaknya muncul secara bersamaan dari reviewer yang sama.

  • Jadi muncul pertanyaan mengapa hanya skor reviewer tersebut yang terlihat.

• Saya penasaran apakah orang-orang yang menyampaikan pendapat keras tentang nilai peer review benar-benar pernah ikut serta dalam peer review sebagai penulis, reviewer, atau editor.

  • Ada banyak tempat untuk membagikan riset atau ide tanpa peer review (misalnya arXiv/bioRxiv).

• Ada yang menunjukkan bahwa judulnya menyesatkan.

  • Empat kali "penolakan kuat" itu berasal dari satu penulis/reviewer saja, dan mungkin merupakan bug di openreview.

• Thread review-nya terbaca seperti thread Show HN yang bernada negatif.

  • Makalah tersebut pada awalnya menerima beberapa pertanyaan/umpan balik negatif, dan para penulis meminta sedikit revisi kepada reviewer.

• Saat kuliah, saya pernah membuat sistem koreksi teks sederhana dan mengirimkan makalah tentang itu, tetapi ditolak karena masalah tata bahasa Inggris.

  • Saya meminta umpan balik kepada para reviewer, tetapi contoh "sebelum/sesudah" yang diperbaiki oleh sistem justru ditunjuk sebagai kesalahan.
  • Setelah beberapa kali mencoba, saya pun menyerah.