Cara kerja MGIE(MLLM-Guided Image Editing)
- Interpretasi perintah dengan MLLM: MGIE menggunakan MLLM untuk menurunkan instruksi yang jelas dan ringkas dari input pengguna. Misalnya, untuk input "buat langitnya lebih biru", sistem dapat menghasilkan instruksi "tingkatkan saturasi area langit sebesar 20%".
- Pembuatan imajinasi visual: MGIE menghasilkan imajinasi visual, yaitu representasi laten yang menangkap esensi dari editan yang diinginkan. Ini digunakan untuk memandu manipulasi pada level piksel.
- Metode pelatihan end-to-end: MGIE menggunakan metode pelatihan end-to-end baru yang mengoptimalkan modul penurunan instruksi, pembuatan imajinasi visual, dan pengeditan gambar secara bersama-sama.
Apa yang bisa dilakukan MGIE?
- Pengeditan berbasis instruksi yang jelas: MGIE menghasilkan instruksi yang jelas dan ringkas untuk memandu proses pengeditan secara efektif.
- Penyuntingan bergaya Photoshop: MGIE dapat melakukan pengeditan umum bergaya Photoshop seperti crop, resize, rotate, flip, dan menambahkan filter, serta juga mampu melakukan editan yang lebih kompleks seperti mengubah latar belakang, menambah atau menghapus objek, dan mencampur gambar.
- Optimasi keseluruhan foto: MGIE dapat mengoptimalkan kualitas keseluruhan foto seperti kecerahan, kontras, ketajaman, dan keseimbangan warna, serta menerapkan efek artistik seperti sketsa, lukisan, dan efek kartun.
- Pengeditan lokal: MGIE dapat mengedit area atau objek tertentu dalam gambar seperti wajah, mata, rambut, pakaian, dan aksesori, serta memodifikasi atribut area atau objek tersebut (bentuk, ukuran, warna, tekstur, gaya).
Bagaimana cara menggunakan MGIE?
- Proyek open source: MGIE tersedia sebagai proyek open source di GitHub, tempat kode, data, dan model pralatih dapat ditemukan.
- Notebook demo dan demo web: Proyek ini menyediakan notebook demo yang menunjukkan cara menggunakan MGIE untuk berbagai tugas pengeditan, dan MGIE juga dapat dicoba secara online melalui demo web yang dihosting di Hugging Face Spaces.
- Desain yang ramah pengguna: MGIE dirancang agar mudah digunakan dan fleksibel untuk dikustomisasi, sehingga pengguna dapat mengedit gambar dengan memberikan instruksi bahasa alami, dan MGIE akan menghasilkan instruksi yang diturunkan beserta gambar yang telah diedit.
Mengapa MGIE penting?
- Terobosan di bidang pengeditan gambar berbasis instruksi: MGIE menghadirkan inovasi di bidang pengeditan gambar berbasis instruksi, sebuah tantangan penting bagi AI dan kreativitas manusia.
- Alat yang praktis: MGIE dapat membantu menghasilkan, memodifikasi, dan mengoptimalkan gambar untuk keperluan pribadi maupun profesional di bidang seperti media sosial, e-commerce, pendidikan, hiburan, dan seni.
- Memperkuat kapasitas riset dan pengembangan AI Apple: MGIE menegaskan kapasitas Apple yang terus berkembang di bidang riset dan pengembangan AI, serta menunjukkan bagaimana AI dapat meningkatkan pekerjaan kreatif sehari-hari.
Opini GN⁺
- MGIE adalah model AI inovatif yang mengedit gambar berdasarkan instruksi bahasa alami, dan akan sangat membantu mewujudkan ide kreatif pengguna secara visual.
- Alat ini dapat menyederhanakan pekerjaan pengeditan gambar yang secara teknis rumit dan berkontribusi pada peningkatan pengalaman pengguna.
- Contoh yang menunjukkan pertumbuhan Apple di bidang riset dan pengembangan AI
Belum ada komentar.