Pengantar
Tahun ini, enam makalah menerima penghargaan makalah unggulan. Proses pemilihannya adalah sebagai berikut.
Pertama, makalah-makalah melalui penyaringan awal dan dipilih menjadi 32 kandidat potensial penerima penghargaan. Dalam proses ini, makalah dengan nilai rata-rata tinggi serta makalah yang direkomendasikan oleh komite program dipilih. Hasilnya, kumpulan ini mencakup makalah yang membahas 16 topik yang dibahas dalam sesi presentasi lisan. Makalah-makalah ini kemudian diserahkan kepada komite penghargaan makalah unggulan.
Komite mempertimbangkan makalah-makalah tersebut dan memilih pemenang berdasarkan kejernihan, wawasan, kreativitas, dan dampak jangka panjang yang luar biasa.
Tentu saja, tidak ada proses yang sempurna untuk memilih makalah pemenang, tetapi kami percaya komunitas ICML akan mengakui kontribusi yang sangat kuat dari makalah-makalah ini.
- Komite penghargaan makalah unggulan: Danqi Chen, Bohyung Han, Samuel Kaski, Mengdi Wang, Tong Zhang
Para pemenang adalah sebagai berikut (berdasarkan urutan ID makalah):
-
D-Adaptation melalui Pembelajaran Tanpa Learning Rate (Learning-Rate-Free Learning by D-Adaptation)
Aaron Defazio (FAIR), Konstantin Mishchenko (Samsung AI Center)
https://openreview.net/forum?id=GXZ6cT5cvY
Makalah ini memperkenalkan pendekatan menarik untuk mengatasi tantangan memperoleh batas optimal tanpa learning rate untuk optimisasi stokastik cembung yang tak halus. Para penulis mengusulkan metode baru yang mengatasi keterbatasan pemilihan learning rate tradisional dalam mengoptimalkan masalah semacam ini. Penelitian ini memberikan kontribusi yang berharga dan praktis bagi bidang optimisasi. -
Watermark untuk Large Language Models (A Watermark for Large Language Models)
John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein (University of Maryland)
https://openreview.net/forum?id=aX8ig9X2a7
Makalah ini mengusulkan cara menerapkan watermark pada keluaran large language model, yaitu dengan menyematkan sinyal pada teks yang dihasilkan yang tidak terlihat oleh manusia tetapi dapat dideteksi secara algoritmik. Watermark dapat dibuat tanpa melatih ulang model bahasa, dan dapat dideteksi tanpa akses ke API atau parameter. Makalah ini juga mengusulkan uji statistik dengan nilai-p yang dapat diinterpretasikan untuk mendeteksi watermark, serta menyajikan kerangka kerja teori informasi untuk menganalisis sensitivitasnya. Metode yang diusulkan sederhana dan baru, serta menyajikan analisis teoretis yang menyeluruh dan eksperimen yang solid. Mengingat tantangan penting dalam mendeteksi dan mengaudit teks sintetis yang dihasilkan oleh LLM, makalah ini berpotensi memberikan dampak penting bagi komunitas. -
Generalisasi pada Hal yang Belum Pernah Dilihat, Penalaran Logis, dan Kurikulum Derajat (Generalization on the Unseen, Logic Reasoning and Degree Curriculum)
Emmanuel Abbe (EPFL, Apple) , Samy Bengio (Apple), Aryo Lotfi (EPFL), Kevin Rizk (EPFL)
https://openreview.net/forum?id=3dqwXb1te4
Karya ini memberikan kemajuan penting dalam pembelajaran fungsi Boolean, khususnya dengan menargetkan pengaturan generalisasi pada hal yang belum pernah dilihat (GOTU). Ini merupakan masalah menantang yang memunculkan persoalan generalisasi di luar distribusi. Makalah ini membahas topik penting tersebut secara mendalam, serta menyajikan pendekatan yang terstruktur dengan baik yang didukung oleh analisis teoretis dan eksperimen yang luas. Penelitian ini meningkatkan pemahaman teoretis tentang pembelajaran fungsi Boolean dan menunjukkan cara menerapkannya pada algoritme nyata. -
Merancang Strategi Eksplorasi-Eksploitasi Menggunakan Algorithmic Information Ratio (Designing Exploration-Exploitation Strategies Using the Algorithmic Information Ratio)
Yonathan Efroni (Technion), Gal Dalal (Technion), Shie Mannor (Technion), Ofer Shayevitz (Tel Aviv University)
https://openreview.net/forum?id=tRhQsHnoFw
Makalah ini membahas masalah yang sangat umum dalam merancang strategi bandit dan strategi pengambilan keputusan sekuensial lainnya. Makalah ini mengusulkan cara membatasi regret suatu strategi dengan menggunakan besaran baru yang disebut algorithmic information ratio, serta menurunkan cara untuk mengoptimalkan batas tersebut. Batas ini lebih ketat dibandingkan besaran teori informasi serupa sebelumnya, dan metodenya bekerja dengan baik dalam pengaturan bandit stokastik maupun adversarial, mencapai kinerja terbaik di semua situasi. Hal yang sangat menarik adalah bahwa makalah ini menunjukkan kemungkinan membuka seluruh lini baru strategi eksplorasi-eksploitasi di luar Thompson sampling dan UCB yang sudah terkenal untuk bandit. Perluasan prinsip ini ke reinforcement learning sangat menjanjikan. Makalah ini mendapat dukungan kuat yang konsisten dari para reviewer ahli.
Referensi
Ini adalah situs web resmi ICML 2023. Anda dapat melihat berbagai makalah dan karya pemenang di sini:
https://icml.cc/Conferences/2023
Ini adalah platform untuk melihat ulasan dan diskusi makalah. Melalui tautan tiap makalah, Anda dapat melihat detail dan diskusi lebih lanjut:
https://openreview.net/
- Tulisan ini adalah penjelasan yang dibuat secara otomatis menggunakan GPT-4, dan mungkin mengandung kesalahan.
- Jika Anda menemukan kesalahan, mohon beri tahu melalui komentar! ♂️
1 komentar
Baca lebih lanjut