Ask HN: Praktik harian untuk meningkatkan kemampuan AI/ML?

• Sedang mencari cara terbaik untuk menginvestasikan waktu dan energi ketika bisa menggunakan sekitar 1 jam per hari untuk mengembangkan kemampuan AI/ML
• Mengajukan kandidat seperti proyek kecil, blog/newsletter, kuliah, buku teks, kompetisi Kaggle, partisipasi di forum·komunitas AI/ML, atau kombinasi dari semuanya
• Agar software engineer yang baik dapat terbantu dalam meningkatkan kemampuan ML, juga menginginkan rasio pembagian waktu atau bobot untuk tiap aktivitas jika memungkinkan

[GN⁺]

Opini Hacker News

• Berbagi pengalaman gelar

  • Meraih gelar master di bidang ML (machine learning) dari sekolah yang bagus. Hal-hal yang dipelajari di sekolah sebenarnya bisa dipelajari sendiri, tetapi sekolah memberi fokus dan tekanan yang sulit didapat sendirian.
  • Pengalaman yang paling banyak memberi pembelajaran adalah mengimplementasikan paper. Kuliah dan buku teks hanyalah kata-kata; benar-benar mengerjakannya memberi pengetahuan yang jauh lebih dalam.
  • Bisa menyarankan berbagai kurikulum, tetapi 1 jam pemecahan masalah yang terfokus adalah yang terbaik.
  • Beberapa usulan proyek: melatih jaringan saraf kecil untuk mempelajari fungsi sederhana, pengklasifikasi digit MNIST, fine-tuning GPT2 pada korpus khusus, melatih jaringan saraf siamese untuk mengukur kemiripan visual, dan sebagainya.
  • Menyarankan agar tidak membuang waktu menulis jaringan saraf dan backpropagation sendiri, melainkan mempelajari cara menggunakan alat profiling dan debugging.

• Saran dari peneliti AI dan pendiri startup teknologi

  • Dengan asumsi yang dibicarakan adalah perkembangan terbaru, disarankan untuk tidak mengikuti jalur yang linear. Ambil satu kursus dan satu proyek kecil, tetapkan batas waktu, dan usahakan menyelesaikannya.
  • Cari bidang riset yang menarik, jalankan kode GitHub terkait, lalu cari cara untuk meningkatkannya atau menggunakannya dalam aplikasi.
  • Menyarankan mengikuti kursus fast.ai, membaca posting blog Karpathy, serta mengikuti kursus Stanford cs231n dan cs234.
  • Temukan proyek yang menarik minatmu lalu jalankan.

• Pentingnya penerapan praktis ML

  • Banyak komentar akan menekankan bagian low-level dari ML, tetapi yang dibutuhkan ML saat ini adalah orang-orang cerdas pada level implementasi.
  • Memanfaatkan teknologi LLM yang sudah ada untuk membuat perangkat lunak yang bisa digunakan orang biasa adalah pekerjaan yang penting dan dibutuhkan.
  • Latihan harian yang dimaksud meliputi membuat sketsa aplikasi, menyusun prompt dan function calling, mempelajari cara memasarkan hal yang dibuat, serta membuat alat yang membawa sesuatu dari nol menjadi satu.
  • Sebagai contoh, disebutkan penerapan teknik katalog bersama dari era Aristoteles ke era embedding modern, serta memahami spesifikasi MD murni dan mengintegrasikan model generasi streaming.

• Mengubah AI/ML menjadi pekerjaan sehari-hari

  • Cari cara untuk menempatkan AI/ML di jalur yang penting. Seperti mempelajari bahasa baru, tidak ada yang lebih efektif daripada imersi penuh.
  • Jika belum punya dasar yang cukup untuk mendapatkan pekerjaan di bidang ini, alternatif terbaik berikutnya adalah mencari proyek passion dan terus memikirkan cara penyelesaian baru.
  • Terakhir, pertimbangkan untuk kembali ke sekolah. Ini memakan waktu lebih dari 1 jam per hari, tetapi hasil yang terlihat jauh lebih cepat dan konkret dibanding strategi belajar lainnya.

• Roadmap khas mahasiswa ML/AI

  • Diperlukan pembelajaran prasyarat seperti matematika dan ilmu komputer. Biasanya ini mencakup kalkulus, aljabar linear, probabilitas dan statistik, pemrograman, pemrograman berorientasi objek, struktur data, dan algoritma.
  • Setelah melalui kursus ML dasar, lanjut ke bagian dasar DL (deep learning) yang berubah cepat.
  • Lalu terbagi antara ML engineering dan riset ML. Engineering berfokus pada hal-hal teknis terkait pipeline ML, sedangkan riset berfokus pada ilmunya sendiri.
  • Seperti kata orang lain, menggunakan alat untuk mengimplementasikan sesuatu itu menyenangkan dan membantu. Jika mencoba mengimplementasikan semua model sendiri, kemungkinan akan sangat kesulitan.
  • Saat mempelajari ML yang "praktis", orang biasanya berusaha mengimplementasikan model dengan cara data bisa dimasukkan lewat API dan hasil bisa diterima kembali. Ini mencakup tantangan seperti pemrosesan data, pengembangan dan hosting perangkat lunak, serta pengembangan API.

• Menyadari keterbatasan AI/ML

  • Jangan terlalu membebaskan imajinasi atau terlalu percaya diri tentang apa yang bisa dilakukan AI/ML.
  • Pernah terlibat dalam proyek ML selama 2 tahun di perusahaan besar, tetapi akhirnya sadar bahwa hasilnya tidak lebih baik daripada metode statistik yang sudah ada, dan karena tidak mampu memahami "kotak hitam" ML, tidak ada perbaikan nyata pada proses.
  • Banyak pekerjaan ML adalah solusi yang mencari masalah.
  • Penting untuk memahami cara menggunakan database (SQL dan non-SQL). Untuk menggunakan ML secara efektif, dibutuhkan kemampuan tinggi dalam memrogram data dalam jumlah besar dengan performa yang baik.

• Cara mempelajari AI/ML

  • Bacalah "An Introduction to Statistical Learning with Applications in R/Python" oleh Hastie dkk. dari awal sampai akhir, dan pahami konsep/ide/nuansa/kehalusan yang dijelaskan.
  • Siapkan buku matematika/statistik, dan setiap kali muncul teknik matematika yang tidak dipahami, segera rujuk buku-buku itu atau tonton video YouTube singkat untuk memahami konsep dan cara penggunaannya.
  • Ini adalah cara paling sederhana dan langsung untuk mempelajari serta memahami AI/ML. Semua hal lain yang disebut di thread ini sebaiknya dilakukan setelah itu selesai.

• Menggabungkan ML dan engineering

  • Lihatlah titik temu antara ML dan engineering.
  • Pertimbangkan ML ops, penerapan DevOps, testing dan ci/cd di ranah ML, cara melatih di banyak GPU, dan terutama cara melakukan hosting LLM skala besar dengan biaya murah.
  • Di dunia akademik ada ratusan kandidat dengan latar belakang akademik yang kuat, tetapi sangat sedikit engineer berpengalaman yang bisa mewujudkan ambisi mereka.

• Fokus pada deep learning

  • Sebagian besar LLM menggunakan arsitektur transformer. Ini bisa dipelajari secara visual, misalnya melalui posting blog atau materi dari Andrej Karpathy.
  • Untuk tetap mengikuti paper yang dirilis setiap minggu, membaca ringkasan mingguan setiap hari Minggu.
  • Untuk mempelajari sisi engineering lebih jauh, bisa bergabung ke server Discord EleutherAI atau mengikuti diskusi GitHub proyek seperti llama.cpp.
  • Mungkin cara pengembangan paling efisien adalah mengimplementasikan ulang paper-paper utama di bidang ini. Ada tujuan yang jelas, tanda keberhasilan yang jelas, dan banyak implementasi yang bisa diperiksa, dibandingkan, dan dipelajari.

• Kuis untuk pemula LLM

  • Baru-baru ini memberikan kuliah pengantar LLM untuk mahasiswa pascasarjana non-CS (biomedis). Ingin memberikan kuis pekerjaan rumah tetapi tidak menemukan yang bagus, jadi membuat kuis pilihan ganda sendiri. Kuis ini "kejam", dan tanpa pemahaman yang kuat orang bisa mudah terjebak. Beberapa pertanyaannya memiliki nuansa yang membantu pembelajaran dengan cara menguji pemahaman dan mendorong upaya menemukan jawaban yang benar. Ini adalah Google Form yang tidak mengumpulkan email.