Kemajuan teknik machine learning untuk machine learning

Optimasi kompiler ML

• Kompiler ML adalah rutin perangkat lunak yang mengubah program yang ditulis pengguna menjadi instruksi yang dapat dijalankan pada perangkat keras nyata.
• Program ML dapat direpresentasikan sebagai graf komputasi, dengan node mewakili operasi tensor dan edge mewakili aliran tensor.
• Kompiler ML harus menyelesaikan berbagai masalah optimasi kompleks, termasuk optimasi tingkat graf dan tingkat kernel.

Dataset TpuGraphs

• Bertujuan meningkatkan efisiensi model ML dengan memperbaiki kompiler ML.
• Model biaya terlatih dipasang ke kompiler untuk menerima program dan konfigurasi kompiler sebagai masukan lalu menghasilkan perkiraan waktu eksekusi program.
• Dataset TpuGraphs dirilis untuk model biaya terlatih pada program yang berjalan di Tensor Processing Units (TPU) kustom milik Google.

Kompetisi Kaggle

• Kompetisi "Fast or Slow? Predict AI Model Runtime" menggunakan dataset TpuGraph telah berakhir dengan partisipasi 792 peserta dan 616 tim.
• Para peserta menggunakan beragam teknik baru seperti pruning/kompresi graf, nilai padding fitur, fitur node, dan cross-configuration attention.

Expo NeurIPS

• Jika Anda tertarik pada riset tentang data terstruktur dan kecerdasan buatan, perhatikan panel NeurIPS Expo "Graph Learning Meets Artificial Intelligence" yang diselenggarakan pada 9 Desember.

Opini GN⁺

• Optimasi kompiler ML adalah bidang penting yang dapat secara signifikan meningkatkan kecepatan eksekusi dan efisiensi model ML.
• Sumber daya seperti dataset TpuGraphs mendorong riset optimasi program berbasis ML dan berkontribusi pada peningkatan performa sistem ML.
• Kompetisi Kaggle menjadi platform yang mendorong kolaborasi dan inovasi komunitas ML, membantu peserta berbagi dan mengembangkan pendekatan serta teknik baru.

[GN⁺]

Komentar Hacker News

• Hype berlebihan terhadap compiler ML

  Compiler ML dinilai terlalu dibesar-besarkan. Seperti compiler tradisional, ada trade-off; throughput-nya memang lebih tinggi dibanding mempekerjakan programmer performa khusus, tetapi yang terakhir sering kali bisa menghasilkan performa yang jauh lebih tinggi. Compiler ML dianggap lebih lemah di beberapa tingkat: secara algoritmis tidak memberi umpan balik tentang cara memodifikasi jaringan, terjadi kehilangan maksud, dan menghasilkan kernel yang tidak efisien. Dibandingkan programmer assembly spesialis, performa compiler tertinggal lebih dari 30%.

• Status saat ini dan janji compiler ML

  Pertanyaan tentang kondisi saat ini dan prospek jangka pendek compiler ML.

• Peningkatan prediksi performa waktu eksekusi grafik komputasi

  Ringkasan tentang peningkatan metode untuk memprediksi performa waktu eksekusi grafik komputasi menggunakan GNN. Metode ini memakai kamus embedding untuk opcode tiap node dan karakteristik node lainnya, serta merilis berbagai konfigurasi kompilasi XLA di TPU beserta dataset performanya. Untuk meningkatkan prediksi pada grafik yang lebih besar, digunakan partisi grafik (partisi grafik METIS) dan metode pelatihan lain. Ini hanya berkaitan dengan prediksi performa, bukan memperbaiki atau mengusulkan grafik ekuivalen yang baru.

• Pertanyaan tentang proyek Gemini

  Pertanyaan tentang status terkini proyek Gemini.

• Permintaan penjelasan cara kerja convolution (conv) dalam grafik

  Permintaan penjelasan tentang bagaimana operasi convolution dilakukan pada tensor dengan bentuk tertentu.

• Apakah transformer itu optimal

  Pertanyaan apakah ada indikasi bahwa transformer optimal dalam cara tertentu.

• Pendapat tentang paragraf pertama

  Ada pendapat bahwa paragraf pertama menutupi inti utama, tetapi selain itu isinya dinilai menarik.

• Kekaguman pada kecepatan perkembangan ML

  Pendapat bahwa ML saat ini berkembang dengan kecepatan yang menakjubkan, dan meskipun tidak percaya pada singularity, teknologi ini sedang mengubah perangkat lunak dan masyarakat dengan cara yang tak terduga.

• [Komentar ditandai]

  Dua komentar telah ditandai sehingga isinya tidak dapat dilihat.