MLC LLM - Solusi open-source yang memungkinkan deployment model LLM ke perangkat apa pun

• Bertujuan agar siapa pun dapat mengembangkan dan mengoptimalkan model AI lalu melakukan deployment ke perangkat apa pun
• Menggunakan MLC(Machine Learning Compilation) dan Apache TVM Unity
• Platform yang didukung
  • iPhone/iPad/Android
  • Metal GPU dan MacBook Intel & ARM
  • AMD/Intel serta NVidia GPU (Vulkan di Windows/Linux)
  • NVidia GPU (CUDA di Windows/Linux)
  • WebGPU di browser

[carnoxen]

Dukungan lintas platform memang sedang populer dalam banyak hal.