Codestral - Model AI pembangkit kode dari Mistral

 (mistral.ai)
13 poin oleh GN⁺ 2024-05-30 | 1 komentar | Bagikan ke WhatsApp
  • Model AI yang dilatih pada lebih dari 80 bahasa pemrograman
  • Mendukung tidak hanya bahasa populer seperti Python, Java, C, C++, JavaScript, dan Bash, tetapi juga bahasa tertentu seperti Swift dan Fortran, sehingga dapat membantu developer di berbagai lingkungan coding dan proyek

Menetapkan standar baru untuk performa pembangkitan kode

  • Mencapai performa yang lebih unggul dan latensi yang lebih rendah dibanding model-model sebelumnya
  • Python
    • Codestral 22B 32k : HumanEval 81.1%, MBPP 78.2%, CruxEval-O 51.3%, RepoBench 34.0%
    • CodeLlama 70B 4k : HumanEval 67.1%, MBPP 70.8%, CruxEval-O 47.3%, RepoBench 11.4%
  • SQL (Spider)
    • Codestral 63.5%, CodeLlama 37%
  • Rata-rata beberapa bahasa
    • Rata-rata HumanEval : Codestral 61.5%, CodeLlama 51.9%

Memulai dengan Codestral

  • Codestral dapat digunakan untuk tujuan riset dan pengujian di bawah Mistral AI Non-Production License, dan dapat diunduh dari HuggingFace
  • Digunakan melalui endpoint baru codestral.mistral.ai. Dikelola dengan API key pribadi, dan tersedia selama masa beta gratis 8 minggu
  • Dapat digunakan melalui endpoint api.mistral.ai, dengan biaya per token.
  • Dapat berinteraksi secara natural dengan Codestral melalui Le Chat.

Dukungan penggunaan Codestral di lingkungan coding pilihan

  • Framework aplikasi: Terintegrasi dengan LlamaIndex dan LangChain.
  • Integrasi VSCode/JetBrains: Codestral dapat digunakan di lingkungan VSCode dan JetBrains melalui Continue.dev dan Tabnine.

Umpan balik komunitas developer

  • Nate Sesti (Continue.dev CTO): Ini adalah model autocomplete terbuka pertama yang memiliki kecepatan dan kualitas, dan akan membawa perubahan besar bagi developer.
  • Vladislav Tankov (Head of AI di JetBrains): Sangat menantikan kemampuan Mistral yang berfokus kuat pada kode dan dukungan pengembangan.
  • Mikhail Evtikhiev (peneliti JetBrains): Menunjukkan performa yang melampaui GPT-4-Turbo dan GPT-3.5-Turbo pada benchmark Kotlin-HumanEval.
  • Meital Zilberstein (R&D Lead di Tabnine): Menunjukkan performa unggul dalam pembangkitan kode, pembuatan pengujian, dokumentasi, dan lainnya, serta sangat meningkatkan efisiensi produk.
  • Quinn Slack (CEO Sourcegraph): Memberikan nilai nyata bagi developer dengan mengurangi latensi pada autocomplete kode sambil mempertahankan kualitas.
  • Jerry Liu (CEO LlamaIndex): Menghasilkan kode yang akurat dan fungsional bahkan pada tugas yang kompleks.
  • Harrison Chase (CEO LangChain): Menawarkan kecepatan, context window yang menguntungkan, serta dukungan penggunaan tool.

Opini GN⁺

  • Perkembangan pembangkitan kode AI: Codestral mendukung berbagai bahasa dan memiliki performa tinggi, sehingga dapat sangat membantu developer.
  • Kemudahan penggunaan: Nyaman digunakan karena menyediakan berbagai opsi integrasi dan endpoint khusus.
  • Evaluasi performa: Dapat dipercaya karena menunjukkan performa tinggi di berbagai benchmark.
  • Model pesaing: Menunjukkan performa yang unggul bahkan dibanding GPT-4-Turbo dan GPT-3.5-Turbo.
  • Pertimbangan adopsi: Keputusan adopsi perlu dibuat dengan mempertimbangkan performa dan kegunaan model.

Bacaan terkait

1 komentar

 
GN⁺ 2024-05-30
Opini Hacker News

Ringkasan komentar Hacker News

  • Batasan lisensi: Model dan outputnya dilarang digunakan untuk aktivitas komersial atau dalam kondisi "live". Penggunaan output kode sebagai bagian dari pengembangan dikecualikan, tetapi penggunaan internal dalam konteks aktivitas bisnis perusahaan juga dilarang. Hal ini membuat perbandingan dengan model open-weight lain menjadi tidak adil.

  • Pengujian model pemrograman: Sebuah model pemrograman diminta menulis middleware Python ASGI tertentu, tetapi tidak ada model yang mampu melakukannya dengan benar.

  • Perbedaan filosofi LLM: Ada perbedaan filosofi antara LLM bergaya Llama dan LLM bergaya OpenAI/GPT. GPT berkembang dengan fokus pada kode, sedangkan model Llama/Mistral lebih dulu merilis model bahasa umum lalu menyediakan CodeLlama/Codestral melalui pelatihan kode tambahan.

  • Integrasi VSCode: Ada yang penasaran apakah ada cara menggunakannya di VSCode seperti Copilot, dengan "shadow code" yang muncul. Kualitas alat semacam ini bergantung pada kemampuan merancang prompt yang tepat di sisi klien.

  • Batasan penggunaan: Model Mistral dan turunannya hanya boleh digunakan untuk pengujian, riset, tujuan pribadi, atau evaluasi, dan tidak boleh dipakai dalam aktivitas komersial.

  • Masalah kepraktisan: Jika tidak bisa dipakai untuk kasus pelengkapan kode yang praktis, maka dianggap tidak ada gunanya. GH Copilot sudah menjadi model terbaik.

  • Tautan Huggingface: Tautan ke halaman Huggingface

  • Demokratisasi kode: Ada kekhawatiran bahwa seperti masalah yang muncul saat seni didemokratisasi, AI akan memicu bertambahnya library yang tidak andal.

  • Kebutuhan RAM: Ada pertanyaan tentang kebutuhan RAM untuk penggunaan lokal model 44GB yang bisa diunduh dari Huggingface. Juga dipertanyakan apakah kebutuhan RAM GPU dan RAM "terpadu" di Apple Silicon sama.

  • Ekstensi VSCode: Ada yang penasaran apakah ada ekstensi VSCode yang memungkinkan berbagai model digunakan sebagai plugin. Menyetel semuanya setiap kali terasa merepotkan.