SAM 2: Segment Anything untuk Gambar dan Video

• Segment Anything Model 2 adalah model untuk menyelesaikan masalah segmentasi visual yang dapat diprompt pada gambar dan video
  • Memperlakukan gambar sebagai video dengan satu frame untuk memperluasnya ke video
  • Menggunakan arsitektur transformer sederhana dengan streaming memory untuk pemrosesan video real-time
  • Membangun data engine yang meningkatkan model dan data melalui interaksi pengguna untuk mengumpulkan dataset SA-V
• Memberikan performa yang kuat di berbagai tugas dan domain visual
• Dataset Segment Anything Video (SA-V) juga dirilis
  • Terdiri dari 50.583 video yang beragam dan 642.036 mask segmentasi spatio-temporal berkualitas tinggi (Masklet)
  • Lisensi CC by 4.0

[xguru]

Segment Anything Model (SAM): model AI Meta yang dapat mengekstrak objek apa pun dari gambar
SAM.cpp - implementasi Segment Anything Model milik Meta dalam C/C++ murni

[GN⁺]

Komentar Hacker News

• Tertarik pada peningkatan mIoU dan kecepatan pemrosesan gambar hingga 6x

  • Peningkatan kecepatan terutama berkat encoder yang lebih efisien
  • Untuk beberapa segmentasi pada gambar yang sama, keuntungannya mungkin kecil
  • Perlu perbandingan dengan SAM asli

• Tim Segment Anything merilis model SAM 2

  • Ini adalah model terpadu pertama untuk segmentasi objek real-time
  • Kode, model, dataset, makalah riset, dan demo telah dibuka
  • Menarik menunggu apa yang akan dibuat pengguna

• Pernah membahas SAM 1

  • Ringkasan makalah SAM 2:
    • Dilatih selama 108 jam dengan 256 GPU A100
    • Biaya pelatihan sekitar $50k, tergolong murah
    • Dataset SA-V baru terdiri dari 50k video
    • Menggunakan metode bootstrap anotasi 3 tahap
    • Fitur memory attention ditambahkan

• Ingin melatih model untuk mengklasifikasikan frame video dan menemukan frame tertentu

  • Penasaran apakah SAM-2 layak digunakan sebagai model dasar

• Sangat menyukai loss function SAM

  • Menyampaikan terima kasih

• Demo web-nya sangat rapi

  • Saat setiap sepatu dipilih sebagai objek terpisah, model tetap melakukan segmentasi meski saling tumpang tindih

• Model SAM pertama adalah yang paling berguna

  • Tidak sabar mencoba SAM2

• Demo riset tidak bisa digunakan di Illinois dan Texas

  • Penasaran apa alasannya

• Ada kekhawatiran tentang penggunaan militer

• Hasil yang luar biasa