Qwen VLo - Dari 'Memahami' Dunia Menjadi 'Menggambarkannya'
(qwenlm.github.io)- Qwen VLo adalah model pratinjau yang memperluas kemampuan pemahaman gambar QwenVL·Qwen2.5 VL ke pembuatan gambar, dan bisa langsung dicoba di Qwen Chat
- Alih-alih menyelesaikan gambar sekaligus, model ini meningkatkan konsistensi dan harmoni hasil melalui pembuatan progresif yang menyusun gambar dari kiri ke kanan dan dari atas ke bawah
- Berfokus pada rekreasi gambar yang mengubah warna, gaya, dan objek sambil mempertahankan makna serta struktur gambar asli
- Dapat menangani penggantian latar belakang, penambahan/penghapusan objek, transformasi gaya, penyuntingan teks, pembuatan poster, hingga pembuatan depth map, segmentation map, detection map, dan informasi edge hanya dengan instruksi bahasa alami
- Karena masih dalam tahap pratinjau, masih ada kemungkinan ketidakakuratan, ketidaksesuaian dengan sumber, dan kegagalan mengikuti instruksi; beberapa fitur seperti input multi-gambar dan pembuatan dengan rasio ekstrem belum dirilis secara resmi
Peran dan pendekatan Qwen VLo
- Qwen VLo adalah model yang mengintegrasikan pemahaman dan pembuatan multimodal, bergerak melampaui memahami gambar untuk membuat ulang gambar berdasarkan pemahaman tersebut
- Versi saat ini adalah pratinjau dan tersedia di Qwen Chat
- Pengguna dapat membuat gambar hanya dari teks, atau mengunggah gambar lalu mengeditnya dengan bahasa alami
- Dapat membuat gambar melalui prompt teks seperti “Generate a picture of a cute cat”
- Dapat mengunggah gambar kucing lalu mengeditnya dengan instruksi seperti “Add a cap on the cat’s head”
Pembuatan progresif dari kiri ke kanan
- Qwen VLo menggunakan metode pembuatan progresif yang menyusun gambar secara berurutan
- Model ini dirancang untuk terus menyempurnakan dan mengoptimalkan prediksi selama proses pembuatan, sehingga meningkatkan konsistensi dan harmoni gambar akhir
- Mekanisme ini meningkatkan kualitas visual dan memberikan pengalaman kreasi yang memungkinkan pengguna mengontrol hasil dengan lebih fleksibel
- Jika dikombinasikan dengan pembuatan resolusi dinamis, pendekatan ini cocok untuk pekerjaan yang membutuhkan kontrol detail, seperti iklan dengan teks panjang atau panel komik
- Proses pembuatan dapat dipantau secara bertahap dan disesuaikan secara real-time
Kemampuan yang diperluas dari pemahaman ke pembuatan
-
Rekreasi yang mempertahankan struktur asli
- Model multimodal yang ada dapat mengalami penyimpangan makna dalam proses pembuatan, salah memahami mobil sebagai objek lain, atau gagal mempertahankan struktur inti gambar asli
- Qwen VLo bertujuan mempertahankan konsistensi semantik tingkat tinggi selama pembuatan dengan memperkuat kemampuan menangkap detail
- Jika diminta “mengubah warna” pada foto mobil, model ini dapat mengidentifikasi model kendaraan dan mengubah gaya warna sambil mempertahankan struktur aslinya
-
Penyuntingan gambar berbasis bahasa alami
- Dapat menangani instruksi seperti “ubah gambar ini menjadi gaya Van Gogh”, “buat seperti foto abad ke-19”, atau “tambahkan langit cerah”
- Mendukung pekerjaan seperti transformasi gaya seni, rekonstruksi adegan, dan koreksi detail
- Tugas pengenalan visual tradisional seperti prediksi depth map, segmentation map, detection map, dan informasi edge juga dapat dilakukan sebagai instruksi penyuntingan
- Dapat menangani instruksi kompleks seperti modifikasi objek, penyuntingan teks, dan perubahan latar belakang dalam satu perintah
-
Dukungan instruksi multibahasa
- Mendukung berbagai bahasa, termasuk bahasa Mandarin dan Inggris
- Pengguna dapat menjelaskan kebutuhan dan menerima hasil tanpa bergantung pada bahasa tertentu
Jenis pekerjaan yang terlihat dalam demo
-
Pembuatan gambar dan penyuntingan berkelanjutan
- Menunjukkan alur membuat Shiba Inu yang lucu, lalu mengganti latarnya menjadi padang rumput, menambahkan topi merah dan kacamata hitam transparan, serta memasukkan teks “QwenVLo” pada topi
- Mengubah gambar yang sama ke gaya Ghibli atau gaya 3D Q-version, atau terus memanfaatkan objek yang telah dimodifikasi dalam konteks penyuntingan lanjutan
- Juga mencakup tugas seperti mendeteksi pena dengan mask biru atau melakukan segmentasi tepi anjing dengan mask merah muda
-
Transformasi gaya dan reinterpretasi
- Dapat mengubah kartun menjadi foto nyata, mengganti latar menjadi Eiffel Tower, atau membuat tokoh melayang di udara seperti balon
- Juga mencakup pekerjaan mengubah foto pasangan menjadi stiker ilustrasi flat minimalis atau figur koleksi 3D rendering, serta menambahkan teks “Happy Wedding”
- Mencakup perpindahan gaya Ghibli, One Piece, Dragon Ball, SpongeBob, Minecraft, dan pixel art
- Ada juga contoh mengubah kucing menjadi gaya Pixar 3D, atau mengubah skyline malam Miami menjadi gaya pemodelan material khusus bertekstur jeli
-
Pemrosesan prompt kompleks
- Dapat membuat foto yang sekaligus memuat pria bertopi hitam di kereta bawah tanah, perempuan berkacamata merah, Husky, Statue of Liberty di luar jendela, dan papan stasiun bertuliskan “Qwen VLo”
- Juga menangani instruksi yang melanjutkan hasil sebelumnya, seperti adegan sudut pandang orang pertama yang menggambar diagram di buku catatan, atau adegan Isaac Newton mendemonstrasikan eksperimen dengan prisma
- Termasuk prompt bergaya poster yang membuat foto besar bersudut lebar dengan kucing hitam sebagai tokoh utama, berhadapan dengan sekawanan hewan, alien, dan piring terbang
Pembuatan poster dan gambar teks
- Qwen VLo mendukung bukan hanya pekerjaan yang menggabungkan input teks dan gambar, tetapi juga pembuatan teks-ke-gambar
- Selain gambar umum, model ini dapat membuat poster dua arah yang memuat bahasa Mandarin dan Inggris
- Karya seni animasi penyihir malam dengan teks “Qwen VLo!” yang terbentuk dari energi
- Adegan selfie kucing oranye yang memakai kacamata hitam dan penutup telinga
- Gambar bergaya poster yang memuat teks seperti “2025”, “A New Beginning”, “新的开始”, “长安”, dan “Father’s Day”
- Dalam poster iklan, model ini menangani penempatan elemen seperti kaleng kopi, teko hand-drip, palet warna kopi, dan judul “一杯咖啡，唤醒你的清晨”
- Contoh poster lain menempatkan produk lampu sebagai elemen visual utama di tengah, dengan latar biru gelap, halo oranye hangat, dan teks “Illuminating not just the desk, but an attitude.”
Pembuatan yang mencakup persepsi dan pemahaman posisi
- Selain pembuatan dan penyuntingan, Qwen VLo juga dapat menambahkan anotasi pada gambar yang sudah ada
- Contoh tugas mencakup:
- Membuat meja penuh buah lalu memprediksi edge detection map
- Melakukan segmentasi tepi pisang dalam gambar dengan mask merah
- Menandai ponsel dengan kotak merah pada gambar meja berantakan
- Menghapus ponsel yang ditandai dan menambahkan kopi di atas meja
- Mengubah gambar akhir menjadi gambar edge detection
- Karena merupakan model terpadu untuk pemahaman dan pembuatan, gambar yang dihasilkannya juga dapat dianalisis kembali
- Dalam contoh membuat anjing dan kucing lalu menanyakan rasnya, anjing diidentifikasi sebagai Beagle atau campuran Beagle, sedangkan kucing sebagai Tabby cat
Resolusi, rasio aspek, dan input multi-gambar
- Qwen VLo menggunakan pembelajaran resolusi dinamis untuk mendukung pembuatan resolusi dinamis
- Baik input maupun output menerima gambar dengan resolusi dan rasio aspek arbitrer
- Model ini dapat membuat gambar yang disesuaikan untuk skenario seperti poster, ilustrasi, banner web, dan cover media sosial tanpa terikat format tetap
- Format memanjang seperti 4:1 atau 1:3 juga dapat ditangani
- Namun, fitur pembuatan gambar dengan rasio aspek ekstrem belum dirilis secara resmi
- Kemampuan untuk memahami dan membuat dari beberapa gambar input juga disertakan
- Contoh yang digunakan adalah memasukkan gambar perlengkapan mandi ke dalam gambar keranjang merah
- Fitur input multi-gambar belum dirilis secara resmi
Batasan tahap pratinjau dan arah berikutnya
- Qwen VLo masih berada dalam tahap pratinjau, sehingga masih memiliki beberapa batasan
- Ketidakakuratan dapat muncul selama proses pembuatan
- Hasil dapat tidak sesuai dengan gambar asli
- Model dapat gagal mengikuti instruksi
- Stabilitas dalam mengenali dan memahami maksud gambar yang dihasilkan masih dapat kurang
- Ke depannya, stabilitas dan robustness akan terus ditingkatkan
- Dengan model besar multimodal yang menangani input dan output teks maupun visual secara dua arah, jawaban dapat disampaikan bukan hanya sebagai teks tetapi juga sebagai gambar
- Pembuatan diagram, penambahan garis bantu, dan anotasi area penting dapat dimanfaatkan sebagai alat komunikasi yang lebih beragam
- Arah untuk menghasilkan hasil antara seperti segmentation map atau detection map agar model dapat memverifikasi pemahamannya sendiri dan meningkatkan kinerjanya juga akan terus dieksplorasi
1 komentar
Komentar Hacker News
Sayang sekali tidak ada rilis bobot. Kekuatan Qwen secara historis adalah strategi bobot terbukanya, dan akan bagus jika ada model bobot terbuka sungguhan yang bisa bersaing dengan pembuatan gambar autoregresif 4o.
Ada banyak arah riset menarik yang hanya mungkin dilakukan jika kita bisa mengakses bobotnya. Jika mereka khawatir soal pengembalian biaya pengembangan, pendekatan seperti peluncuran Flux Kontext Dev dari BFL bisa dijadikan rujukan: memberikan bobot gratis untuk peneliti dan individu, lalu mengenakan lisensi komersial dengan harga masuk akal untuk startup.
Melihat nuansa warna oranye pada gambarnya, tampaknya cukup jelas ini dilatih dengan output OAI. Saya bertanya-tanya apakah mereka memang mencoba membuat data sendiri.
Pada akhirnya, ini dilatih dengan OAI, tertutup seperti OAI, dan yang lebih penting, lebih buruk daripada OAI. Strategi mengurung hal seperti ini di balik API terasa aneh.
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
Entah kenapa, era bobot terbuka dari Tiongkok tampaknya sudah berakhir. Rasanya seperti gerakan yang mendadak dan terkoordinasi.
Alibaba berhenti merilis Qwen secara terbuka, Tencent berhenti merilis Hunyuan secara terbuka, dan Seedream dari Bytedance hadir secara tertutup. Meski begitu, tampaknya masih jelas bahwa mereka tetap melatih dengan output model Barat. Secara strategis, menurut saya lebih tepat untuk 100% terbuka dan menjual infrastruktur/layanan.
Kalau maksudnya bobot terbuka, bukankah orang seharusnya bisa menggunakannya dengan bebas?
Cara yang diusulkan itu lebih mirip bobot uji coba, bobot shareware, atau bobot akademik daripada “bobot terbuka”. Jika makna bahwa bobot itu bisa dipakai untuk apa pun seperti perangkat lunak sumber terbuka hilang, istilah “terbuka” memberi kesan yang keliru.
Secara pribadi saya skeptis apakah biaya pembuatan gambar saja bisa menutup investasi puluhan juta dolar, waktu GPU, dan gaji engineer.
Di mata saya, semua gambar ini berada di uncanny valley. Warna dan bayangannya terlihat tidak selaras.
Melihat contoh penyuntingan gambar beruang, modelnya tampak mengubah lebih banyak bagian daripada yang diminta.
Diminta mengubah latar belakang, tetapi beruangnya sendiri juga berubah total; bajunya sama, tetapi bulu dan wajahnya jelas berbeda. Saat mengubah beruang menjadi balon pun, modelnya mengubah latar belakang, menghilangkan jalan beraspal, dan biji di sisi kiri semangka juga hilang. Saya penasaran apakah ini bisa diperbaiki dengan prompt yang lebih baik, atau merupakan keterbatasan model/arsitektur.
Seperti semacam tes wajib, saya mencoba membuat gambar pelikan mengendarai sepeda dalam bentuk gambar, bukan SVG, dan juga membuat beberapa gambar akordeon. Model ini agak kesulitan mencocokkan jari dan tuts hitam dengan tepat, tetapi cukup cepat.
https://chat.qwen.ai/s/0f9d558c-2108-4350-98fb-6ee87065d587?...
Tantangannya ada pada penggunaan SVG, bukan format berbasis piksel. Sebab untuk membuat SVG dengan benar, dibutuhkan tingkat penalaran tertentu.
Anehnya, contoh perubahan gambar, yaitu hasil seperti penyuntingan atau transfer gaya, memiliki nuansa kuning pucat yang terlihat pada GPT Image 1, yakni model gambar terbaru ChatGPT 4o. Flux Kontext tampaknya tidak punya kesan seperti itu, jadi saya penasaran mengapa demikian.
Saya tidak tahu cara menghentikan pembacaan otomatis. Tidak bisakah situs web diam saja dan menunggu sampai saya memintanya melakukan sesuatu?
Di watch, video otomatis diputar dalam layar penuh lalu langsung mulai dibacakan. Sebagai catatan, ini Firefox di iOS.
Ini berdasarkan Firefox Android, jadi saya tidak tahu apakah versi iOS punya fitur yang sama. Di desktop juga ada. Dari sana, Anda juga bisa sepenuhnya memblokir permintaan situs web untuk mengirim notifikasi.
Sebagai peneliti machine learning dan pemegang gelar fisika, saya cukup berhati-hati menggunakan kata memahami dan “menggambarkan” untuk model seperti ini. Terutama kata memahami, menurut saya tidak terlalu membantu dan sejujurnya justru merugikan.
Alasan fisika memakai matematika adalah karena konkret, dan alasan coding sulit juga sama. Orang tampaknya meremehkan seberapa banyak mereka memahami dunia. Yang penting adalah nuansa-nuansa halus, tetapi karena terlalu sehari-hari, kita sering melupakan pentingnya. Esai Asimov “Relativity of Wrong” layak dibaca. Agar bisa mengatakan sistem seperti ini memahami sesuatu, sistem itu harus mampu melakukan deduksi dan abduksi, menyempurnakan konsep dan ide, serta menemukan sesuatu yang lebih dari sekadar kombinasi hal-hal yang telah diserapnya. Dilatih dengan seluruh pengetahuan manusia lalu mengulang pengetahuan itu saja tidak membuktikan kecerdasan. Kemungkinan pengetahuan tersebut dikompresi secara lossless ke ukuran model ini kecil, tetapi tanpa menggali data dan pengetahuannya secara mendalam, sangat sulit mengetahui apa yang benar-benar diketahuinya dan apa yang hanya dihafalnya. Membuat sesuatu yang berguna dan membuat kecerdasan adalah masalah yang berbeda.
Untuk benar-benar memahami, ia harus bisa mengusulkan pemikiran kontrafaktual. Semua proposisi fisika adalah proposisi kontrafaktual. Ambil contoh F=ma: kita bisa menghitung gaya meski massa atau percepatan diubah. Kita bisa melihat massa tertentu bergerak dengan percepatan tertentu lalu bertanya, “bagaimana jika massanya dua kali lebih berat?” dan menjawabnya. Model dunia manusia juga melakukan hal seperti ini. Kita hanya tidak menjelaskannya dengan matematika; kita menyusun kontrafaktual dan cukup sering menanganinya dengan baik. Menurut saya, sulit untuk mengatakan bahwa sistem machine learning modern melakukan hal seperti ini.
Gambar di artikel asli adalah contoh bagus dari kurangnya pemahaman. Di sisi kanan, bukan hanya jumlah jarinya yang salah, tombol-tombol keyboard-nya juga aneh. Dengan sedikit pemahaman saja, seharusnya bisa diketahui bahwa tombol tidak boleh berulang. Tata letaknya juga kacau seperti benda dalam mimpi, jumlah tombol kemungkinan besar tidak cocok dengan jumlah label, dan ukurannya pun tampak melenceng. Semakin lama dilihat, semakin buruk—ini juga umum pada sistem semacam ini. Sekilas terlihat baik-baik saja, tetapi semakin diperhatikan, semakin dalam masuk ke uncanny valley.
https://youtube.com/watch?v=cDA3_5982h8
Kode adalah matematika. Ada isomorfisme antara bahasa Turing-complete dan matematika yang dapat dihitung. Untuk melihatnya lebih ketat, cari Church dan Turing. Tentu saja fisika dan matematika tidak sama, tetapi matematika efektif secara tidak masuk akal.
https://hermiene.net/essays-trans/relativity_of_wrong.html
https://en.wikipedia.org/wiki/Counterfactual_thinking
Dari sudut pandang orang yang membuat sesuatu, argumen straw man seperti ini melelahkan
Mengekspresikan input dan output dengan kata-kata yang dipahami luas itu membantu. Selain itu, mereka juga memakai tanda kutip untuk memberi sinyal bahwa mereka tidak sedang melebih-lebihkan implikasi jangka panjang dari kata-kata tersebut. Orang yang membaca rilisnya akan memahami bahwa Qwen sebelumnya adalah VLM yang melihat/mengenali/memahami, dan sekarang sudah bisa menghasilkan/mendeskripsikan/menggambar gambar. Tidak perlu menciptakan krisis lebih dari itu.
Saya penasaran apakah ada laporan teknis tentang model ini atau model lain yang menghasilkan gambar dengan cara seperti 4o. Saya benar-benar ingin memahami arsitektur pembuatan gambar ala 4o.
Menurut saya machine learning telah jauh lebih banyak berkembang dalam mendeskripsikan dunia daripada “memahaminya”.
Ucapan “saya mengerti” sebenarnya hanyalah standar pribadi yang arbitrer.
Gambar dikompresi menjadi 256 token sebelum dilihat oleh model bahasa. Saat diminta menambahkan topi, alasan seluruh wajah digambar ulang adalah karena objek tidak disimpan secara terpisah
Tidak ada beruang yang bertahan di dalam memori; semuanya berada dalam satu sup ruang laten yang menyatu. Gambar itu disampling ulang di bawah batasan baru, dan sedikit saja perubahan pada prompt akan menyeimbangkan ulang seluruh embedding. Karena itu, perubahan kecil pun menyebar ke seluruh gambar. Ini terlihat seperti sintesis adegan sekali jalan, dan berguna untuk penggunaan lain.
Penyuntingan gpt-image-1 cocok untuk perubahan gaya total seperti “buat jadi gaya Ghibli”, tetapi kurang cocok untuk menambahkan kacamata pada gambar realistis sambil mempertahankan semua detail.