Cara Melakukan Riset AI yang Berdampak

 (github.com/okhat)
14 poin oleh GN⁺ 2024-09-26 | 3 komentar | Bagikan ke WhatsApp

1. Berinvestasi pada proyek, bukan makalah

  • Pada tahap awal riset, publikasi makalah memang penting, tetapi dalam jangka panjang, dampak riset dan gambaran besarnya lebih penting daripada jumlah makalah
  • Riset perlu dipikirkan bukan sebagai makalah yang terpisah-pisah, melainkan sebagai visi besar atau paradigma
  • Penting untuk mempertahankan artefak yang konsisten seperti model open source, sistem, framework, dan benchmark

2. Memilih masalah yang tepat waktu dengan skalabilitas besar dan "daya sebar"

  • Masalah harus tepat waktu. Misalnya, bagus untuk mencari masalah yang akan menjadi 'panas' dalam 2-3 tahun ke depan
  • Harus memiliki "daya sebar" besar yang dapat memengaruhi banyak masalah turunan
  • Perlu memilih masalah yang memiliki ruang pengembangan besar. Misalnya, harus ada harapan bahwa seiring waktu hal itu bisa dibuat 20 kali lebih cepat atau 30% lebih efektif

3. Berpikir dua langkah ke depan dan melakukan iterasi dengan cepat

  • Alih-alih mencari solusi yang langsung terlihat, kita perlu berpikir dua langkah ke depan
  • Setelah mengidentifikasi jalur yang kemungkinan besar akan diambil orang, kita perlu memahami keterbatasan jalur itu dan fokus menyelesaikannya
  • Penting untuk mengiterasi berbagai versi masalah dengan cepat dan mendapatkan umpan balik

4. Membuka pekerjaan ke publik dan memopulerkan ide

  • Setelah menerbitkan makalah, jangan langsung berpindah ke makalah berikutnya; pekerjaan perlu dibuka ke publik dan dikomunikasikan secara aktif kepada orang-orang
  • Unggah makalah ke arXiv dan umumkan publikasinya lewat thread, tetapi mulailah dengan klaim yang spesifik dan mudah diakses
  • Bahkan setelah publikasi makalah, ide tetap perlu dipromosikan secara berkelanjutan dan komunitas perlu terus diajak berkomunikasi
  • Ide dan komunikasi ilmiah harus terus berlangsung sepanjang tahun, melampaui publikasi makalah yang terisolasi

5. Membangkitkan minat dan menumbuhkan riset open source

  • Hanya mengunggah kode dan README ke GitHub saja tidak cukup
  • Riset open source yang baik harus sekaligus menjadi riset yang baik, memiliki kegunaan hilir yang jelas, dan friksi yang rendah
  • Kita perlu membuat rilis kode yang bisa digunakan, bermanfaat, dan mudah diakses
  • Jelaskan mengapa alternatif yang tampak jelas gagal, dan bersabarlah
  • Kita perlu memahami berbagai kategori pengguna dan mengembangkan proyek sesuai dengan itu
  • Penting untuk mengubah minat menjadi komunitas, lalu membangunnya dan menumbuhkannya

6. Terus berinvestasi pada proyek melalui makalah baru

  • Proyek open source dan riset bukanlah hal yang terpisah
  • Sebagian besar waktu yang diinvestasikan ke open source justru bisa berupa melakukan riset baru yang menarik
  • Jika berada di garis depan upaya open source, kita bisa mengenali masalah baru secara intuitif sejak sangat awal, serta memperoleh kolaborator dan umpan balik
  • Misalnya, ColBERT dan DSPy berkembang melalui banyak makalah dan kolaborator
  • Komunitas yang dibangun memberikan umpan balik langsung tentang pendekatan kita dan membuka akses ke kolaborator hebat yang memahami pentingnya masalah tersebut

Ringkasan GN⁺

  • Tulisan ini membahas cara memaksimalkan dampak dalam riset AI melalui proyek open source
  • Ditekankan bahwa visi besar dan proyek yang konsisten lebih penting daripada jumlah makalah
  • Dijelaskan pentingnya memilih masalah yang tepat waktu, berpikir dua langkah ke depan, membuka pekerjaan dan memopulerkannya, serta menumbuhkan proyek open source
  • Ditekankan bahwa riset dan proyek open source bukan hal yang terpisah, melainkan dapat saling melengkapi dan berkembang bersama

Bacaan terkait

3 komentar

 
kandk 2024-09-26

Jadi belakangan ini riset AI tidak dilakukan di sekolah pascasarjana, melainkan di big tech.
Dari big tech keluar lebih banyak paper terbaru dibandingkan dari sekolah pascasarjana. Dunia yang menarik..
 
nutella 2024-09-27

Bahkan ada banyak kasus ketika mereka merekrut mahasiswa pascasarjana sebagai intern selama beberapa bulan untuk melakukan riset bersama dan menerbitkan paper.
 
GN⁺ 2024-09-26
Opini Hacker News

  • Nasihat "berinvestasilah pada proyek, bukan pada makalah" tidak realistis bagi mahasiswa doktoral atau peneliti tahap awal

    • Sulit mengembangkan karier jika tidak menerbitkan banyak makalah
    • Ingin meluangkan waktu pada topik yang menarik, tetapi jika tidak menghasilkan makalah, dampaknya besar bagi karier

  • Untuk menjalankan program riset dengan sukses, penting memilih masalah yang tepat waktu dan menyebarkan ide secara luas

    • Melalui umpan balik, arah riset dapat disesuaikan dan kolaborasi bisa didorong

  • Bagi peneliti AI, memilih topik yang berguna dalam 1-2 tahun dapat menjadi alasan untuk beralih ke industri

    • Riset jangka panjang bisa memberi dampak yang lebih besar
    • Riset awal dapat menghasilkan pencapaian besar seiring waktu

  • Sulit mengukur dampak makalah terhadap dunia nyata

    • Dalam riset AI, skala itu penting, dan ini membutuhkan pendanaan serta sumber daya
    • Karena begitu banyak makalah diterbitkan, pengaruh tiap makalah menjadi berkurang

  • Nasihat "berinvestasilah pada proyek, bukan pada makalah" berarti proyek yang baik akan melahirkan makalah yang baik

  • Makalah AI sering melibatkan banyak penulis, dan riset yang benar-benar berpengaruh sebenarnya jarang

  • Pada tahap awal riset, perbaikan kecil bisa memberi dampak besar

    • Setelah karier riset berkembang, lebih banyak waktu dapat diinvestasikan ke proyek

  • Penting untuk membuat hasil riset mudah diakses, tetapi juga perlu untuk tidak membuka semuanya

  • "Hype" juga merupakan bagian dari riset

    • Riset yang berpengaruh dalam jangka pendek belum tentu demikian dalam jangka panjang

  • Nasihat ini dapat diterapkan bukan hanya pada riset akademik, tetapi juga pada startup