Ask HN: Apa tren di bidang ML yang tidak tenggelam oleh kebisingan LLM?

• Banyak hal menarik sedang terjadi di bidang machine learning (ML) dan data science yang tidak terdengar karena tenggelam oleh kebisingan large language model (LLM)
• Cynthia Rudin terus menerbitkan riset yang luar biasa tentang explainable artificial intelligence (AI)
• Proyek-proyek menarik dalam beberapa bulan terakhir:
  • Rekonstruksi adegan 3D dari beberapa gambar: NAVER LABS Europe
  • Avatar Gaussian: Gaussian Avatars
  • Codec Gaussian yang dapat diberi pencahayaan ulang: Relightable Gaussian Codec
  • Melacak segalanya: Co-Tracker, Omnimotion
  • Segmentasi apa pun: Segment Anything by Facebook Research
  • Model estimasi pose manusia yang unggul: Yolov8, model MediaPipe dari Google
  • TTS yang realistis: XTTS-v2 by Coqui on Hugging Face, Bark TTS
  • STT yang unggul: sebagian besar berbasis Whisper
  • Terjemahan mesin: misalnya SeamlessM4T dari Meta
  • Kekaguman terhadap banyak hasil yang keluar dari R&D Meta
• Penjelasan tentang NeRFS:
  • Sebuah pemikiran ulang yang mendasar terhadap grafis 3D, dengan menempatkan bola-bola semi-transparan yang bercahaya alih-alih poligon bertekstur
  • Posisi dan warna bola dipelajari oleh jaringan saraf melalui bidikan kamera multi-sudut yang akurat dan pose-nya, lalu dapat dirender melalui ray tracing di GPU
  • Karena adegan dibuat dari foto, hasilnya sepenuhnya realistis, tetapi juga dapat dijelajahi
  • Secara teori adegan-adegan ini bisa dianimasikan, tetapi bagaimana melakukannya dalam praktik masih menjadi masalah riset
  • Belum diketahui apakah ini akan lebih baik daripada sistem berbasis poligon yang dioptimalkan seperti Nanite+photogrammetry
• Pertanyaan tentang alat yang dapat membuat adegan 3D dari video jalan yang direkam dari kendaraan:
  • Fokus pada lanskap di sekitar jalan, bisa berkendara beberapa kali dari berbagai sudut, dan tidak masalah jika waktu pemrosesan lama
  • Ingin membuat jalan lokal untuk digunakan dalam simulator balap
• Ketertarikan pada geometric deep learning:
  • Cara merancang model secara berprinsip agar menghormati simetri yang sudah diketahui pada data
  • ConvNets terkenal karena equivariance transformasinya, tetapi ada juga contoh-contoh terbaru untuk kelompok simetri lain
  • Ada juga pertanyaan apakah simetri tertentu bisa ditemukan atau diidentifikasi secara otomatis
• Pengenalan marathon machine learning yang diselenggarakan oleh komunitas ML+X UW-Madison:
  • Acara musim panas sekitar 12 minggu yang akan ditampilkan sebagai kompetisi di Kaggle
  • Kesempatan untuk belajar dan menerapkan alat machine learning bersama-sama guna menemukan solusi inovatif untuk dataset dunia nyata
  • Ada beragam tantangan dan cocok untuk pemula maupun praktisi tingkat lanjut
  • Peserta, penasihat proyek, dan penyelenggara acara bertemu mingguan atau dua mingguan untuk berbagi kiat dan mengadakan demo/diskusi singkat
  • Selain imbalan intrinsik berupa peningkatan keterampilan dan pembangunan komunitas, tim pemenang akan menerima hadiah uang tunai
• Pengenalan model Vision-Language-Action (VLA) RT-2, semacam sepupu dari LLM:
  • Selain data teks dan visi, model ini juga memasukkan data aksi robot sebagai "bahasa lain" dan menggunakannya sebagai token yang menghasilkan tindakan gerak robot
• Pendapat bahwa model computer vision keluarga SAM telah membuat banyak layanan dan alat anotasi manusia sampai tingkat tertentu menjadi tidak terlalu diperlukan:
  • Pelabelan otomatis data visi dapat dicapai dengan kualitas yang relatif tinggi
• Berbagi pengalaman meluncurkan Scholars.io untuk mendapatkan riset terbaru tentang topik tertentu yang diminati di arXiv:
  • Berharap ini membantu orang lain menemukan aktivitas riset di luar LLM karena bisa memfilter riset yang tidak diminati
• Pertanyaan apakah masih bernilai untuk terus mempelajari ML pada 2024 serta penyebutan intuisi pribadi:
  • Berbagi pengalaman mengerjakan proyek sampingan dengan menggunakan xgboost
  • Terasa bahwa ML masih bernilai, tetapi tidak bisa benar-benar yakin