- AI gambar generatif menghasilkan keluaran yang meyakinkan lewat latent space, penghilangan noise, dan pengaitan teks-gambar, tetapi memiliki keterbatasan struktural untuk secara akurat mendapatkan gambar spesifik yang diinginkan
- Stable Diffusion dilatih dengan menambahkan noise ke jutaan gambar lalu memulihkannya secara bertahap, sehingga dapat menghasilkan gambar yang meyakinkan dari noise murni
- Prompt teks harus diubah berkali-kali dari ruang kata ke ruang gambar, dan biasanya hanya bisa menangani sekitar 75 kata sekaligus, sehingga kontrol yang rinci menjadi sulit
- Untuk pekerjaan seperti header blog sederhana atau tulisan SEO yang hasil akhirnya tidak terlalu penting, AI generatif bisa cepat menggantikan, tetapi untuk batasan presisi seperti komposisi, pose, gaya, dan warna tetap dibutuhkan masukan dari ilustrator
- Dalam ilustrasi komersial, alur kerja kolaboratif lebih realistis: manusia menentukan line art, komposisi, dan ide inti; AI mengisi detail yang kurang penting seperti warna, pencahayaan, dan latar; lalu hasilnya diedit kembali
Memahami latent space untuk memahami Stable Diffusion
- Warna, kata, dan gambar semuanya bisa direpresentasikan sebagai daftar angka, dan sistem representasi yang baik disusun agar objek yang mirip punya angka yang berdekatan
- Ruang warna memiliki banyak pendekatan seperti RGB, Lch, dan CMYK, dan masing-masing mendefinisikan “kemiripan” secara berbeda
- Angka-angka itu lebih mirip label dan instruksi yang menunjuk ke warna tersebut daripada file yang menyimpan warna itu sendiri
- Kata juga dapat direpresentasikan dengan ratusan angka; “mom” dan “dad” bisa ditempatkan berdekatan, sedangkan “mom” dan “prestidigitation” lebih berjauhan
- Gambar lebih kompleks daripada kata dan warna, tetapi ruang gambar bisa dibentuk dengan ribuan angka
- Jika semua nilai RGB setiap piksel dicantumkan, dibutuhkan jutaan angka
- Gambar yang secara makna mirip, seperti kucing hitam dan kucing putih, bisa sangat jauh jika hanya dilihat dari nilai pikselnya
Latent space gambar meminjam dari caption
- Banyak gambar memiliki caption, label, atau teks di sekitarnya, sehingga ruang gambar dapat dibangun melalui hubungan antara gambar dan teks
- Foto yang dilabeli “cat” bisa ditempatkan saling berdekatan, dan foto yang dilabeli “car” juga bisa saling berdekatan
- Label seperti “Miyizaki cat-bus” bisa diletakkan di suatu titik antara kucing dan mobil
- Dalam riset AI generatif, ruang seperti ini disebut image latent space
- Latent space dapat mengaproksimasi hampir semua gambar yang ingin dilihat, termasuk gambar acak yang tak bisa ditafsirkan, sebagai daftar angka
- Ruang ini diibaratkan seperti Library of Babel untuk gambar
Cara kerja Stable Diffusion
- Stable Diffusion bukan satu-satunya cara menghasilkan gambar, tetapi merupakan pendekatan yang banyak digunakan
- Pelatihan dilakukan dengan menambahkan sedikit demi sedikit noise ke jutaan gambar, lalu melatih komputer untuk memulihkannya menjadi bersih
- Setelah itu, ditambahkan lebih banyak noise dan model dilatih lagi untuk mengembalikannya menjadi gambar yang kurang ber-noise
- Jika proses ini diulang sampai gambar hampir lenyap, komputer akan mempelajari cara kembali secara bertahap ke hampir gambar apa pun
- Pelatihan untuk menghubungkan teks dan gambar juga dilakukan bersamaan
- Foto kucing lebih mungkin memiliki caption seperti “my cute kitty mister french fry”
- Dan kecil kemungkinan memiliki caption seperti “the engine from a 1959 Austin Healey”
- Cross attention adalah cara menghubungkan beberapa sistem AI agar, sambil mengurangi noise pada gambar, gambar itu juga didorong mendekati caption teks tertentu
- AI generatif mengarahkan gambar ke tujuan tertentu dengan menggabungkan target lain ke dalam proses penghilangan noise
Mengapa jari dan wajah sering rusak
- Latent space bukan ruang yang menyimpan langsung gambar-gambar pelatihan, melainkan ruang yang merepresentasikan semua gambar yang mungkin
- Gaya yang menjauh dari noise memprioritaskan kejernihan gambar, sementara gaya yang bergerak menuju label teks berfokus pada pemenuhan citra yang layak diberi label tersebut
- Caption gambar sering kali tidak membahas akurasi tangan manusia atau jumlah jari
- Label negatif seperti “no deformed hands” terbatas efektivitasnya jika memang hanya sedikit gambar yang dilabeli “deformed hands”
- “polydactyly” bisa lebih baik karena merupakan label yang lebih kuat terkait jari berlebih
- Wajah menghadapi masalah yang sama, sehingga banyak sistem generatif memiliki komponen terpisah untuk memperbaiki wajah
- Sistem intinya bisa menganggap cukup jika gambar itu terlihat seperti wajah
- Mata manusia sangat peka terhadap akurasi wajah, seperti arah kedua bola mata
- Menambahkan nama seniman seperti James Gurney ke dalam prompt dapat meningkatkan konsistensi keseluruhan gambar
- Caption umum biasanya berfokus pada kata benda dan subjek utama
- Gaya seniman adalah gestalt yang tersebar di seluruh piksel gambar, bukan hanya satu bagian, sehingga bisa menghasilkan hasil yang lebih konsisten
Pekerjaan yang mudah digantikan AI generatif
- Keinginan manusia terhadap media fisik seperti lukisan, patung, cukil kayu, dan bordir kemungkinan tidak akan hilang
- Hasil dari media fisik akan terus bisa dipakai untuk pelatihan AI generatif
- Situasi ketika karya dipakai untuk pelatihan tanpa izin lalu dimanfaatkan untuk menggantikan mata pencaharian dapat terasa sangat invasif
- Namun, gambar tidak tersimpan di dalam latent space dengan cara yang spesifik; paling jauh, gambar mirip hanya bisa dipulihkan dengan prompt tertentu dan keberuntungan
- Tidak jelas bagaimana membolehkan fair use oleh seniman manusia tetapi secara hukum hanya membatasi penggunaan untuk ML
- AI generatif dapat menggantikan ilustrasi dan sebagian tulisan yang isinya sebenarnya tidak terlalu penting
- Gambar header blog yang kira-kira relevan untuk menyesuaikan tata letak halaman
- Tulisan blog mingguan bernada spam demi SEO
- Keluaran seperti ini lebih mirip konten seperti furnitur yang pada akhirnya tidak terlalu dipedulikan siapa pun sampai ke konsumen akhir
- Pekerjaan tersebut sejak awal memang tidak dibayar tinggi, sedang cepat menghilang, dan bahkan dengan regulasi hukum yang kuat pun sulit terlihat jalan keluarnya
Mengapa sulit mendapatkan gambar yang spesifik
- Membuat gambar yang mengesankan dengan AI generatif relatif mudah, tetapi membuat gambar yang spesifik kadang hampir mustahil
- Mungkin sekitar 1 dari 10 gambar terasa “keren”, tetapi itu tidak berarti gambar tersebut benar-benar sesuai dengan yang diminta
- Di showcase gambar generatif seperti civitai, prompt yang sangat panjang dapat dibandingkan dengan gambar hasilnya
- Situs tersebut mungkin NSFW
- Banyak elemen dalam prompt kadang sama sekali tidak muncul pada gambar
- Konsep menyeluruh seperti “a mystical dragon” bisa tampak menonjol dalam prompt tetapi tidak ada di gambar
- Cara penggunaan seperti ini lebih mirip game gacha atau mesin slot untuk membuat gambar
- Pengguna memasukkan prompt penuh ide menarik lalu mengulang sampai keluar sesuatu yang memuaskan
- Hasilnya bisa memikat, tetapi belum tentu merupakan gambar yang benar-benar diminta
- Teks harus diubah dari prompt aktual ke text latent space, lalu lagi menjadi fungsi dari image latent space, sehingga sulit dipakai sebagai alat kontrol gambar
- Teks yang dapat diproses sekaligus biasanya juga hanya sekitar 75 kata
- Jika lebih panjang, harus dipecah dalam cross attention melalui sistem panduan terpisah
Input gambar adalah alat kontrol yang lebih kuat
- Karena gambar diterjemahkan dengan baik ke image latent space, gambar bisa menjadi batasan yang lebih langsung daripada teks
- Prompt berbasis gambar memungkinkan kontrol rinci atas isi dan komposisi hasil generasi
- Membuat gambar yang direduksi menjadi line art yang sama dengan gambar lain
- Membuat gambar yang sama dengan depth map yang diekstrak dari gambar lain
- Membuat gambar yang sesuai dengan pose yang diambil dari gambar lain
- Membuat gambar dengan isi berbeda tetapi gaya yang cocok dengan gambar lain
- Menyamakan garis perspektif dengan gambar lain
- Menyamakan palet warna dengan gambar lain
- Masalahnya adalah dari mana gambar panduan seperti itu berasal
- Peran yang mampu memahami konsep ilustrasi yang diinginkan lalu mengubahnya menjadi line art, sketsa pose, dan gaya tumpang tindih dengan peran ilustrator yang sudah ada
- Pekerjaan gambar generatif dengan kebutuhan yang rumit sulit berguna tanpa ilustrator
Kemungkinan alur kerja AI untuk ilustrasi komersial
- Ilustrator komersial kemungkinan tetap mempertahankan pekerjaannya, tetapi perlu mempelajari AI sebagai bagian dari alur kerja agar bisa menyesuaikan kecepatan kerja yang lebih tinggi
- Itu tidak berarti berhenti menggambar dan menjadi prompt engineer
- Jika demikian, pelatihan yang luas justru terbuang sementara manfaat yang didapat kecil
- Salah satu proses digital painting yang mungkin adalah sebagai berikut
- Membuat line art dengan cara tradisional sambil berfokus pada komposisi dan ide inti
- Membiarkan AI generatif mengusulkan sekitar 12 pendekatan warna dan pencahayaan
- Memilih 1 atau 2 di antaranya
- Mengecat ulang hampir seluruh piksel buatan AI sambil menyesuaikan warna dan melakukan revisi sesuai niat artistik
- Bagi seniman yang menuangkan perhatian dan emosi besar pada pemilihan warna, pendekatan ini mungkin tidak cocok
- Tidak ada satu cara tunggal yang cocok untuk semua seniman, dan seniman yang bekerja dengan tenggat dapat memakai AI untuk mengisi tahap yang paling tidak penting dan paling membosankan
- Adegan keramaian
- Pemandangan kota
- Vegetasi
- Seperti gambar header halaman, banyak gambar juga mengandung elemen furnitur yang dibutuhkan tetapi tidak penting, dan area itulah yang sedang menjadi wilayah AI generatif
Kesenjangan antara produk dan arah riset
- Riset AI generatif makin bergerak ke arah menyediakan lebih banyak cara untuk mengarahkan pembuatan gambar dengan input gambar
- Produk yang hadir di pasar sulit disisipkan dengan mudah ke dalam alur kerja ilustrator
- Eksperimen untuk mendapatkan tingkat kontrol yang benar-benar berguna dilakukan dengan menjalankan model data terbuka di komputer pribadi
- Gambaran masa depan ilustrasi komersial lebih dekat ke bentuk di mana ilustrator menentukan inti, AI generatif mengisi bagian yang kurang penting, lalu manusia melakukan revisi lagi
- Produk AI generatif juga perlu berkembang ke arah yang mendukung alur kerja seperti ini
1 komentar
Pendapat di Hacker News
Ini mungkin pandangan lain yang tidak akan disukai siapa pun, tetapi dampak AI terhadap seniman tampaknya akan sama seperti dampak Spotify terhadap industri musik. Artinya, besar kemungkinan ia akan mematikan aliran pendapatan semua pihak kecuali penerbit dan artis/pemain besar
Spotify pada dasarnya menghapus uang yang dulu berasal dari distribusi fisik, dan itu bahkan lebih buruk daripada pembajakan yang saat itu tak terhindarkan. Setidaknya pada masa pembajakan, orang tidak sampai harus membayar biaya pengacara untuk bernegosiasi ulang dengan label sambil tetap tidak mendapat uang
Tempat seperti Adobe dan OpenAI tampaknya akan membayar receh kepada seniman untuk menggambar karya yang dipakai melatih model, lalu membuat mereka menandatangani surat pelepasan yang menyatakan “tidak apa-apa kalau saya tidak mendapat uang dari seni AI ini”, kemudian menjual kembali hasilnya dengan mahal di tempat seperti Splice: https://splice.com/features/sounds
Pada akhirnya model itu sendiri hampir tidak penting; karya siapa yang dipakai untuk melatihnya akan menjadi faktor pembeda yang sebenarnya. Namun nantinya akan jadi, “gambar ini dibuat oleh AI, jadi kami tidak perlu membayarmu”
Mesin-mesin lama hanya menggantikan 1–2 jenis pekerjaan, tetapi jika manusia membuat pelatihan AI benar-benar efisien, ia akan menggantikan ratusan jenis pekerjaan sekaligus. AI juga punya efek meningkatkan isolasi dengan mengurangi sejauh mana orang membutuhkan manusia lain
Karena alasan-alasan ini, saya rasa dunia akan jauh lebih baik tanpa AI, dan perusahaan teknologi sedang merusak dunia dengan produk-produk mengerikan mereka
Spotify mengambil struktur ekonomi pembajakan dan menutupinya dengan lapisan tipis yang tampak legal
Pertama, gambar yang dihasilkan AI bersifat acak dan hampir seperti barang sekali pakai. Anda mungkin mendapatkan satu gambar keren yang bisa dipakai sekali, lalu setelah itu? Sulit membangun kampanye di atasnya
Kedua, karya seni yang dihasilkan AI tidak dilindungi hak cipta, jadi pesaing peniru bebas memakai gambar pemasaran buatan AI
Setidaknya karya seniman grafis berbayar bisa dimasukkan sebagai seed ke AI, dan gambar AI berbasis seed dapat dilindungi hak cipta. Namun seniman itu akan melakukannya lebih baik daripada pekerja magang tak dibayar
Saat saya kecil, pada Minggu siang ayah saya memutar album dan hanya mendengarkannya. Benar-benar hanya mendengarkan. Sekarang sangat sedikit orang yang melakukan itu
Kini ada permintaan besar untuk musik pengiring yang didengarkan sambil mengemudi, membaca, berselancar di internet, coding, atau bersih-bersih. Sejak musik menjadi portabel, cara konsumsinya berubah secara mendasar, dan Spotify hanya memenangi persaingan itu
Dibandingkan masa awal musik digital, saya mendapat kesan bahwa distribusi media fisik justru sedang meningkat. Ini lebih berkaitan dengan digitalisasi musik itu sendiri daripada Spotify
Di sekitar saya, banyak orang tampaknya membeli merchandise atau media fisik untuk mendukung artis favorit, bukan karena benar-benar mendengarkan musik dalam format fisik
Tulisan seperti ini biasanya mengasumsikan generasi teks-ke-gambar dan prompt engineering, dan biasanya itu terjadi karena kurangnya pengalaman langsung memakai model-model tersebut. Kalau bukan sekadar untuk bersenang-senang, pendekatan itu pada dasarnya bukan jawaban yang tepat
Pekerjaan yang membutuhkan prediktabilitas dan kontrol lebih mirip “gambarlah burung hantu sisanya dengan cara yang mirip dengan burung hantu lain yang saya gambar sendiri”, lalu dipadukan dengan photobashing serta koreksi/komposit manual. Untuk menghasilkan sesuatu yang tidak membosankan, ini adalah wilayah hibrida yang membutuhkan kemampuan artistik dan teknis, mirip 3D CGI
Ini bukan masalah yang muncul karena model kurang memahami bahasa alami; bahkan jika sesuatu yang secara masuk akal bisa disebut AGI muncul, kemungkinan besar itu pun tidak akan banyak berubah. Prompt teks tidak memiliki kapasitas yang cukup untuk memuat makna
Prompt yang detail dan beberapa contoh gaya yang diinginkan tampaknya sudah cukup. Tentu saja bukan berarti itu sangat mudah, tetapi saya tidak melihat perlunya terobosan fundamental untuk ini. Komponen yang diperlukan sudah ada
Ini mirip membawa AI ke sekolah atau membuatnya cepat mempelajari konsep baru lewat unggahan data ala Matrix. Para ahli akan mempelajari caranya, dan pasar juga akan terbentuk untuk orang-orang yang menginginkan pekerjaan semacam itu
Baru-baru ini saya mencoba “robot yang duduk berhadapan dengan manusia sambil bermain Magic: The Gathering”, tetapi memasukkan manusia ke dalam gambar saja sudah sulit, dan modelnya tidak cukup mengenal MTG sehingga hanya mencocokkan pola ke “board game” atau “permainan kartu”
Beberapa gambar hasil generasi jauh lebih bagus daripada yang lain, sehingga saya ingin mengambil tata letak meja dari satu gambar dan robot dari gambar lain, tetapi saat ini itu pada dasarnya mustahil. “blend” juga tidak cocok untuk tujuan seperti itu
Saya tidak ragu ini akan membaik, tetapi saya penasaran apakah ada batasan yang lebih umum di bawahnya. Mungkin sekadar karena datanya kurang. Mencari Magic: The Gathering di Google Images pun cukup mengecewakan
Sebagai contoh lain, ketika meminta logo biru bercahaya yang terukir pada monolit batu, kadang logonya memang terukir, tetapi jarang, dan tidak pernah bercahaya biru. Biasanya seluruh monolit atau sebagian darinya menjadi biru
Bagian yang sangat saya sukai adalah: “Ilustrator komersial akan tetap punya pekerjaan, tetapi agar bisa mempertahankan tempo kerja yang lebih cepat, pada umumnya mereka harus belajar menggunakan AI sebagai bagian dari alur kerja mereka.”
Saya kadang menggambar ilustrasi, tetapi gaya saya cukup berbeda dari yang dilakukan AI generatif. Baru-baru ini saya merilis manual game 1.1 yang memakai gambar Midjourney, dan sekarang saya sedang berinvestasi pada ilustrator sungguhan. Alasannya, gambar Midjourney kurang punya kepribadian.
Namun beberapa bulan lagi bisa saja berbeda. Saya akan tetap bekerja dengan ilustrator karena konsistensi gambar, tetapi ada kemungkinan AI menghasilkan hasil yang lebih mencolok.
Poin bahwa “dua bulan lagi semuanya berubah” juga masuk akal, tetapi itu sudah terus dikatakan sejak satu setengah tahun lalu dan sejauh ini belum berubah secara kualitatif. Kualitas gambar generatif memang membaik, tetapi belum sampai bisa disebut lompatan kualitatif.
Sebagai tambahan, tautan civitai mengarah ke https://sambleckley.com/writing/civitai.com/images, tetapi itu tautan mati.
Tautan: https://youtu.be/FQ6z90MuURM?t=329
Saya menjalankan beberapa usaha sampingan internet kecil bersama partner. Salah satunya bisnis D2C berbasis konten yang sangat bergantung pada ilustrasi kustom untuk materi iklan display. CTR-nya lumayan dan rata-rata, tetapi CPC terlalu tinggi dan ROAS benar-benar buruk.
Beberapa bulan lalu kami melakukan A/B test antara ilustrator yang biasa kami pakai dan Stable Diffusion, dan hasilnya cukup dramatis. CTR naik hampir 20%, dan CVR juga membaik secara konsisten.
Saya tidak setuju dengan klaim tulisan itu bahwa gambar buatan AI paling efektif pada bisnis yang kontennya sebenarnya tidak penting. Bisnis ini adalah contoh tandingan yang bagus. Dalam kasus kami, gambar buatan AI lebih cocok dengan pelanggan target, dan memungkinkan personalisasi yang jauh lebih rinci dengan biaya lebih rendah daripada sebelumnya.
CPA juga turun besar, dan karena kami bisa mengontrol variasi materi iklan secara sangat rapat, optimasi real-time berdasarkan segmen audiens menjadi mungkin. Waktu peluncuran kampanye baru juga berkurang setengah, dan diskusi soal nuansa desain, keterlambatan tenggat, serta kebuntuan kreatif ikut hilang.
Saya punya perasaan campur aduk soal berkurangnya sentuhan manusia dalam proses kreatif, tetapi dari sudut pandang growth hacking murni, ini mengubah permainan, dan kami punya angka untuk membuktikannya.
Secara keseluruhan saya melihatnya sebagai keuntungan bersih. Ini tidak harus menjadi akhir bagi ilustrator manusia, tetapi akan memaksa mereka beradaptasi lebih peka terhadap kebutuhan pelanggan. Bahkan bisnis konten pun tidak masuk akal kalau harus mengalami friksi sebesar ini dalam pengadaan materi visual.
Bagaimanapun, ada efisiensi dan ada jiwa. Para robot umumnya sudah berhasil menggantikan yang pertama, dan kadang-kadang mengejutkan juga pada yang kedua.
Saya penasaran apakah berkurangnya bolak-balik diskusi itu berasal dari respons yang instan dan interaktif—dengan kata lain, lebih sedikit berurusan dengan manusia—atau dari kepercayaan dan pendelegasian kepada mesin.
Kalau logikanya seperti “mesin membuat ikon ini berdasarkan penjelasan saya, jadi tidak perlu meragukan pilihan warnanya,” maka itu menjadi masalah klasik: menganggap mesin tidak mungkin salah dan lebih ahli daripada manusia. Mungkin keduanya bercampur.
Seberapa penting furnitur dalam sebuah ruang berada pada spektrum, dari ruang tunggu yang hanya ditempati sebentar sampai kantor arsitek, dan seni komersial juga tidak berbeda. Kalau gambar itu benar-benar tidak berarti, tidak perlu juga diletakkan di sana.
Grafik non-informatif dalam sebagian besar deck PowerPoint yang didesain secara nonprofesional mungkin lebih rendah lagi tingkat kepentingannya. Sebaliknya, gambar pembuka spread dua halaman untuk artikel fitur majalah hampir pasti 0% dibuat dengan AI, kecuali artikelnya memang tentang gambar buatan AI. Bahkan dalam kasus itu pun, besar kemungkinan para profesional menghabiskan lebih banyak waktu untuk menyempurnakan bentuknya dibandingkan bagian lain.
Dalam alur kerja grafis profesional, kekonkretan dan kontrol tingkat piksel terlalu penting. Apa pun kata orang yang bukan desainer profesional, alat saat ini pada dasarnya tidak cocok untuk pekerjaan itu. Antarmukanya sendiri keliru.
Adobe atau pemain lain di industri yang tahu apa yang dibutuhkan mungkin bisa menyelesaikannya, tetapi wujudnya tidak akan seperti Midjourney.
“Menjadi lebih peka terhadap kebutuhan pelanggan” berbeda dengan harus membaca pikiran pelanggan. Jika Anda mengira ini bukan sinyal akhir bagi ilustrator manusia di pasar spesifik ini, Anda sedang menipu diri sendiri.
Saya pernah mencoba membuat AI menulis tulisan saya, dan hasilnya mengerikan. Sebaliknya, saat saya mengabaikan alat AI seperti pemeriksa tata bahasa, peringkas, alat penulis ulang, dan aplikasi suara-ke-teks, proses menulis terasa lamban.
Bagi saya, titik tengah paling cocok. Saya memakai AI generatif hanya pada tahap perantara pekerjaan, bukan pada input berupa ide maupun output berupa draf sebenarnya.
Cara saya menulis seperti ini. Ide saya dapat dari perenungan atau percakapan di media sosial. Topik yang dibahas di sana setidaknya sudah punya relevansi yang teruji sampai tingkat tertentu.
Lalu saya duduk sekitar 10 menit dan mendiktekan pikiran saya ke alat seperti AudioPen; alat ini merangkum materi 10 menit itu menjadi 5–6 paragraf. Bagian inilah tahap AI. Ketika alat itu mengusulkan beberapa struktur paragraf, saya menggantinya sampai menemukan yang bagus.
Setelah itu saya menulis sendiri draf mengikuti kerangka tersebut. Selain pemeriksaan tata bahasa di akhir, saya tidak lagi memakai alat AI. AI adalah partner menulis yang hebat, tetapi penulis yang buruk.
Pernyataan bahwa “ilustrator komersial akan tetap mempertahankan pekerjaannya, tetapi untuk menjaga ritme kerja yang lebih cepat, pada umumnya mereka harus belajar menggunakan AI sebagai bagian dari alur kerja” persis seperti kenyataan yang saya lihat
Di luar komunitas pembuatan media AI, orang masih mengira ini sekadar memasukkan teks lalu menerima hasil. Padahal dalam praktiknya, orang menyusun seluruh alur kerja untuk mendapatkan jenis gambar yang persis diinginkan
Misalnya: https://old.reddit.com/r/StableDiffusion/comments/14ye2eg/co...
Gambar kedua adalah keluarannya, tetapi yang pertama lebih menarik. Itu adalah antarmuka berbasis node yang mirip dengan yang sering terlihat di alat pengembangan game seperti Unreal Engine: https://docs.unrealengine.com/5.2/en-US/nodes-in-unreal-engi...
Ini mirip seperti merangkai berbagai API untuk mendapatkan gambar akhir. Ke depannya, pembuatan gambar tampaknya akan lebih dekat ke pemrograman backend daripada menggambar secara langsung. Sebab bagian menggambar sebenarnya akan diotomatisasi, sementara kreativitasnya terletak pada alur kerja itu sendiri
Tentu saja, suatu hari nanti bagian alur kerja pun akan diotomatisasi, tetapi komputer belum bisa membaca pikiran sampai memahami niat pengguna, jadi itu masih cerita yang jauh
Tulisan ini tampak terlalu terpaku pada kondisi saat ini. Jenis Stable Diffusion memang sangat sukses dengan teknik tertentu, tetapi bodoh jika menganggap metode itu akan meningkat tanpa batas
“AI” generatif akan mengambil banyak bentuk. Pada akhirnya, ia kemungkinan besar akan menghapus banyak unsur teknik dalam kreasi, sehingga merampas pendapatan dan relevansi seniman serta pemilik konten
Ini tidak akan terjadi dalam semalam, tetapi kira-kira selama 10 tahun ke depan, AI tampaknya masih akan lebih dekat ke alat yang bermanfaat daripada ancaman
Pada titik tertentu, saya memperkirakan AI generatif akan menjadi sistem multisensori yang mencakup penglihatan, suara, dan sentuhan. Sistem seperti ini akan menghasilkan representasi baru yang akurat dengan memakai model fisik objek dan lingkungan, serta deskripsi yang kaya dan kesadaran konteks budaya yang mendalam
Ia akan berpikir dalam bentuk objek dan relasi, bukan piksel, lalu menyimulasikan, merender, dan memfilternya agar sesuai dengan keinginan pengguna
Saya mendukung upaya penulis dan aktor untuk melindungi diri dari persaingan, tetapi pada akhirnya saya melihatnya akan sia-sia. Perkembangan hukum di ranah ini akan menarik
Sistem generatif di masa depan mungkin memerlukan jejak audit yang menunjukkan bagaimana ia memperoleh pemahamannya tentang dunia, untuk membuktikan bahwa tidak ada pelatihan tanpa izin. Namun ini hanya sedikit menaikkan standar, dan tidak akan mencegah cara lain untuk menurunkan relasi penting, seperti deskripsi tingkat tinggi dengan pendekatan clean-room
Misalnya, melatih AI dengan karya berhak cipta Harrison Ford atau gambar yang diambil di tempat umum mungkin ilegal, tetapi jika Harrison Ford diringkas menjadi serangkaian karakteristik lalu diberikan ke sistem generatif, sistem itu bisa membuat sesuatu yang tidak dapat dibedakan dari Harrison Ford asli. Jika prosedur ini bisa didokumentasikan, tampaknya tidak banyak cara bagi sistem hukum untuk menghentikannya. Tentu saja saya bukan pakar di bidang ini
Sebagai catatan, saya tidak menyukai “AI” saat ini. LLM khususnya terasa tidak dapat dipercaya dan umumnya tidak berguna. Seni buatan AI juga kebanyakan membosankan, tidak akurat, atau entah bagaimana kurang meyakinkan. Meski begitu, saya melihat arahnya semakin jelas
Saya tidak mengerti mengapa pandangan bahwa “ilustrator komersial akan tetap mempertahankan pekerjaannya, tetapi untuk menjaga ritme kerja yang lebih cepat, pada umumnya mereka harus belajar menggunakan AI sebagai bagian dari alur kerja” dianggap tidak populer. Itu terlihat seperti jalur logis ke depan
Sama seperti CoPilot tidak menggantikan saya, tetapi membuat boilerplate tertentu jauh tidak menyakitkan dan membantu menghindari halaman kosong atau writer’s block ketika hendak menulis sebuah fungsi
Lebih baik memulai dari sesuatu lalu mengubahnya sampai menjadi bentuk yang dibutuhkan daripada memulai dari nol. Bahkan jika pada akhirnya 80–99% harus dirombak, tetap saja begitu
Seniman juga tampaknya akan terbantu jika bisa melihat beberapa contoh seperti apa line art mereka bisa terlihat, karena itu dapat memicu kreativitas, lalu mereka bisa mengerjakannya sesuai keinginan
Ilustrator yang paling ingin saya ajak bekerja sama adalah orang-orang yang memanfaatkan semua alat yang tersedia untuk menghasilkan gambar terbaik yang mungkin dibuat
Saya setuju dengan sebagian besar poinnya, tetapi tidak setuju pada bagian tentang menghasilkan gambar tertentu. Itu jelas merupakan keterampilan yang bisa dikembangkan
Saya sudah banyak mengajari orang cara menyederhanakan prompt untuk AI pembuat gambar dan memilih bahasa yang tepat. Anehnya, orang-orang memasukkan banyak hal remeh yang tidak perlu, mungkin lebih mirip takhayul seperti “potongan kalimat ini beberapa kali berhasil sebelumnya”
Seperti yang dikatakan tulisan itu, pendekatan hibrida yang memakai ini sebagai alat dalam rangkaian beberapa alat adalah arah ke depan
Ada juga konsep yang sama sekali tidak dipahami AI. Misalnya, saat ini Midjourney sangat kesulitan dengan hal-hal seperti “bulldozer”, “centaur”, dan “pemanah fantasi”. Hal-hal seperti ini pasti akan diperbaiki dalam versi model baru dengan data pelatihan yang lebih baik, dan dulu pun sudah diperbaiki seperti itu
Kesulitan yang sebenarnya datang dari detail kecil atau informasi semantik. Misalnya, sulit meminta adegan realistis/seperti foto yang semuanya fokus hingga latar belakang, dan kata kunci seperti “focus stacking” pun tidak terlalu berhasil. “selfie” adalah kata terbaik yang kami temukan, tetapi sayangnya efek sampingnya besar
Mungkin karena data pelatihan tidak punya cukup contoh yang secara spesifik menggambarkan atribut itu, tetapi jujur saja, mempelajari kata bahasa Inggris untuk mengekspresikan konsep seperti itu sendiri juga sulit
Untuk detail kecil, pendekatan saat ini tidak akan dapat diskalakan untuk menangani permintaan seperti “enam kubus biru yang masing-masing ditempeli segitiga merah disusun membentuk piramida, dengan bola kuning seimbang di atasnya”. Namun, seperti yang dikatakan penulis, hal-hal seperti ini kemungkinan akan ditangani dengan aset yang dibuat terpisah dan keterampilan Photoshop minimal
Saat membicarakan masalah teknis prompt, bagian itu benar-benar dilewatkan
Masalah prompt bukanlah kubus yang ditumpuk. Jika 10 insinyur perangkat lunak, 10 orang tim penjualan, dan 3 eksekutif senior diminta mengusulkan ide visual untuk iklan, yang keluar adalah gambar sampah di latar hitam, robot, animasi, tiruan buruk dari sesuatu yang pernah dilihat entah di mana dan tersimpan di alam bawah sadar, serta 0 ide visual yang benar-benar bekerja
Desainer dan ilustrator harus terus melawan dan membalikkan klise serta ide buruk seperti itu untuk membuat produk yang layak
Saya melihat GPT dan kode dengan cara yang hampir sama. Saya pernah melihat orang-orang pintar yang tidak menulis kode melempar permintaan ke GPT dan mendapatkan sesuatu yang berjalan, tetapi lompatan dari “tuliskan sesuatu yang menekan tombol otomatis dengan timer” ke “perbarui repository agar client menangani logika bisnis dan fitur ini” itu sangat besar
Dari sudut pandang saya, pekerjaan itu tetap harus dilakukan oleh orang yang punya cara berpikir developer, dan AI hanya membuat hidup sedikit lebih mudah dalam prosesnya
Saya rasa bidang seni juga sama. Mendapatkan gambar yang tampak meyakinkan itu mudah, tetapi untuk mendapatkan gambar yang spesifik dan bermakna biasanya diperlukan banyak pascaproses yang tidak bisa dilakukan orang awam
Kita sudah melihat kemajuan yang melompat jauh. Alat coding berbasis LLM juga makin baik, LLM itu sendiri makin baik, dan ukuran konteks juga makin besar. Minat terhadap LLM juga mendorong pengembangan pendekatan baru yang lebih efektif
Dalam beberapa tahun saja, entah itu model sejenis JEPA dari Lecun, semacam supercoder hibrida yang sedang dibuat DeepMind, atau LLM open source, semuanya akan jauh mengungguli GPT-4 dalam pemrograman