Meta Mengumumkan LLM Compiler

• Meta mengumumkan keluarga model LLM Compiler yang dikembangkan berbasis Code Llama, dengan kemampuan optimasi kode dan fungsi kompilator
• Model-model ini memiliki kemampuan berikut:
  • Emulasi kompilator
  • Prediksi pass optimal untuk optimasi ukuran kode
  • Disassembly kode
• Dapat di-fine-tune untuk tugas optimasi dan kompilator baru

Fitur utama

• Mencapai hasil terbaik di kelasnya dalam optimasi ukuran kode dan disassembly
• Membuktikan bahwa AI sedang mempelajari optimasi kode dan dapat membantu pakar kompilator mengidentifikasi peluang optimasi

Rilis model

• Model LLM Compiler 7B dan 13B dirilis dengan lisensi permisif untuk penggunaan riset maupun komersial
• Mendukung pengembang dan peneliti agar dapat memanfaatkannya dengan mudah dan melakukan riset baru di bidang ini

[ragingwind]

Idenya terlihat menarik.

[GN⁺]

Komentar Hacker News

• Menggunakan LLM sebagai compiler/decompiler adalah aplikasi yang menarik
• Compiler sangat menuntut keandalan dan akurasi
• LLM pada dasarnya tidak dapat diprediksi, jadi terasa aneh jika dimasukkan ke dalam pipeline build
• Dalam makalah ini, model dilatih untuk tiga tugas, dimulai dari CodeLlama
  • Tugas pertama adalah kompilasi: memberikan kode input dan flag compiler lalu memprediksi assembly keluaran
  • Tugas kedua adalah prediksi/optimasi flag compiler: mengoptimalkan ukuran assembly
  • Tugas ketiga adalah dekompilasi: diklaim memiliki keunggulan dibanding pendekatan sebelumnya
• Ada masalah pada keterverifikasian pendekatan dekompilasi
• Mereka menggunakan metode mengompilasi ulang kode hasil dekompilasi untuk memeriksa akurasinya
• Akurasinya masih sekitar 45%, jadi belum dapat diandalkan, tetapi mungkin berguna jika dipakai bersama decompiler tradisional
• Saya ingin mengeksplorasi apakah model ini bisa diperluas ke optimasi performa
• Sepertinya akan makin banyak sistem di mana LLM memberikan intuisi dan prosesnya ditangani dengan cara yang mekanis/ketat
• Saya penasaran bagaimana cara memastikan LLM menjaga makna input
• Riset sebelumnya bisa dilihat di GitHub
• Twitter terkesan dengan riset ini, tetapi saya rasa pendekatan ini sangat mungkin merusak program
• Tidak seperti makalah AI Meta lainnya, tidak ada penyebutan bahwa ini digunakan di Instagram, Facebook, atau Meta
• "Compiler LLM" tampaknya nama yang lebih akurat daripada "LLM Compiler"
• Saya tidak mengerti tujuan dari pekerjaan ini
• Saya ingat pernah memperdagangkan Meta Technologies Neural Optimizer dan Disassembler di game <i>Deus Ex</i>