Meta merilis Llama 3.2 - Teknologi yang merevolusi AI edge dan visi dengan model kustom terbuka

 (ai.meta.com)
11 poin oleh GN⁺ 2024-09-26 | 1 komentar | Bagikan ke WhatsApp

  • Meta merilis Llama 3.2

    • Mencakup vision LLM kecil dan menengah (11B dan 90B) serta model ringan khusus teks (1B dan 3B)
    • Tersedia di perangkat keras Qualcomm dan MediaTek serta dioptimalkan untuk prosesor Arm
    • Model yang cocok untuk peringkasan, mengikuti instruksi, dan tugas penulisan ulang

  • Fitur model Llama 3.2

    • Model vision 11B dan 90B unggul dalam tugas pemahaman gambar
    • Dapat di-fine-tune untuk aplikasi kustom menggunakan torchtune
    • Dapat dideploy secara lokal menggunakan torchchat
    • Tersedia melalui asisten pintar Meta AI

  • Deployment Llama Stack

    • Menyederhanakan pekerjaan dengan model Llama di lingkungan single-node, on-premises, cloud, dan on-device
    • Dideploy melalui kolaborasi dengan AWS, Databricks, Dell Technologies, Fireworks, Infosys, dan Together AI

  • Unduh model Llama 3.2

    • Dapat diunduh dari llama.com dan Hugging Face
    • Pengembangan dapat langsung dimulai di platform mitra seperti AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake, dan lainnya

  • Performa Llama 3.2

    • Model 11B dan 90B cocok untuk pemahaman tingkat dokumen, pembuatan caption gambar, dan tugas berbasis visual
    • Model 1B dan 3B menyediakan kemampuan pembuatan teks multibahasa dan pemanggilan tool
    • Saat dijalankan secara lokal, memberikan respons instan dan menjaga privasi yang tinggi

  • Evaluasi model

    • Kinerja dievaluasi pada lebih dari 150 dataset benchmark
    • Performa yang kompetitif dengan Claude 3 Haiku dan GPT4o-mini

  • Model vision

    • Mengadopsi arsitektur model baru untuk mendukung input gambar
    • Tetap mempertahankan kemampuan khusus teks sambil menggabungkan prompt gambar dan teks untuk pemahaman dan penalaran yang lebih mendalam

  • Model ringan

    • Model 1B dan 3B dikembangkan dengan metode pruning dan knowledge distillation
    • Dapat dijalankan secara efisien secara lokal

  • Deployment Llama Stack

    • Menyediakan antarmuka terstandarisasi melalui Llama Stack API
    • Menyederhanakan pekerjaan dengan model Llama di berbagai lingkungan

  • Keamanan tingkat sistem

    • Merilis Llama Guard 3 11B Vision
    • Model Llama Guard 3 1B secara signifikan menurunkan biaya deployment

  • Menggunakan Llama 3.2

    • Menyediakan tool dan sumber daya yang dibutuhkan pengembang
    • Memungkinkan pengembangan aplikasi inovatif dengan Llama 3.2 dan Llama Stack

Ringkasan GN⁺

  • Llama 3.2 menyediakan beragam model vision dan teks, termasuk model ringan yang dapat dijalankan di perangkat edge dan mobile
  • Melalui kolaborasi dengan Qualcomm, MediaTek, Arm, dan lainnya, Meta menghadirkan performa yang dioptimalkan di berbagai perangkat keras
  • Melalui deployment Llama Stack, pengembang didukung agar dapat menggunakan model Llama dengan mudah di berbagai lingkungan
  • Llama 3.2 cocok untuk pengembangan aplikasi lokal karena menawarkan privasi tinggi dan respons instan
  • Menawarkan performa yang dapat bersaing dengan Claude 3 Haiku dan GPT4o-mini, serta membuktikan kinerja unggul di berbagai benchmark

Bacaan terkait

1 komentar

 
GN⁺ 2024-09-26
Opini Hacker News

  • Terkejut dengan performa model 1B yang baru. Ukuran unduhnya 1.3GB

    • Mencobanya untuk merangkum seluruh codebase. Memang tidak sempurna, tetapi performanya luar biasa untuk model sekecil ini
    • Catatan lebih lanjut bisa dilihat di sini
    • Juga mencoba model gambar yang lebih besar. Unggah gambar bisa dilakukan lewat "Direct Chat" di lmarena.ai

  • Pada contoh "The Llama jumped over the ______!", dengan encoding 1-hot, jawaban "wall" benar dengan probabilitas 100%

    • Jika mengatakan "fence" juga mungkin, itu salah. Menurut saya inilah alasan distilasi model bekerja dengan baik
    • Model asli dilatih melalui jawaban teks, tetapi model anak belajar jawaban yang lebih bermakna dengan meniru prediksi
    • Jadi paham kenapa model Llama 3.2 dari Meta kecil tetapi kuat. Perkembangan model ini mengagumkan

  • Kagum dengan keterbukaan tim Llama di Meta. Bukan hanya akses ke model, tetapi juga cara membangunnya dipublikasikan

    • Tidak tahu bagaimana model-model mendatang nantinya, tetapi saya berterima kasih atas sikap terbuka Meta

  • Pertanyaan pemula: saya butuh model dengan kemampuan software engineer 10x, tetapi tidak perlu pengetahuan manusia. Penasaran apakah model seperti itu ada

  • Mencoba model 3B di Ollama. Cepat dan punya banyak pengetahuan untuk pertanyaan tentang optik, biologi, dan Rust

    • Model yang sangat mengesankan

  • Postingan blog Ollama: tautan

  • Model llama3.2:3b-instruct-q8_0 performanya lebih baik daripada 3.1 8b-q4. Di MacBook Pro M1 juga lebih cepat dan hasilnya lebih baik

    • Memberikan jawaban yang lebih baik untuk beberapa teka-teki dan eksperimen pikiran
    • Instalasi 3.1-8b saya hapus
    • Daftar Ollama saat ini:
      • llama3.2:3b-instruct-q8_0: 3.4GB, dimodifikasi 2 jam lalu
      • gemma2:9b-instruct-q4_1: 6.0GB, dimodifikasi 3 hari lalu
      • phi3.5:3.8b-mini-instruct-q8_0: 4.1GB, dimodifikasi 3 hari lalu
      • mxbai-embed-large:latest: 669MB, dimodifikasi 3 bulan lalu

  • Bertanya apakah ada yang bisa merekomendasikan klien web UI untuk Ollama

  • Bertanya apakah ada leaderboard dengan benchmark LLM terbaru

    • Livebench dan Lmsys tertinggal beberapa minggu dan tidak menambahkan model-model utama
    • Kalau belum ada, bersedia membuatnya sendiri

  • Model 3B cukup bagus untuk multimodal (bahasa Norwegia), tetapi kadang banyak memberi jawaban yang tidak masuk akal. Lebih sensitif daripada 8B, tetapi lebih bisa dipakai daripada Gemma 2 2B

    • Untuk pertanyaan tentang pengurutan list Python, hasilnya lumayan
    • Model vision 90B menolak tugas yang berguna. Gagal mereproduksi gambar dalam HTML atau menggunakan data gambar dengan cara yang berguna
    • Saya tidak mengalami masalah seperti ini pada 70B atau OpenAI. Penolakannya terlalu banyak