DALL·E 3

 (openai.com)
1 poin oleh GN⁺ 2023-09-21 | 1 komentar | Bagikan ke WhatsApp
  • DALL·E 3 dari OpenAI adalah model pembuat gambar dari teks untuk pengguna ChatGPT dan pengembang API, dengan tujuan menghasilkan gambar yang lebih setia mencerminkan kalimat yang dimasukkan
  • Sistem sebelumnya sering melewatkan kata atau deskripsi sehingga pengguna harus bergantung pada prompt engineering, tetapi DALL·E 3 dirancang untuk memberikan hasil yang lebih baik daripada DALL·E 2 dengan prompt yang sama
  • Dengan integrasi ChatGPT, pengguna cukup memasukkan kalimat singkat atau paragraf rinci, lalu ChatGPT akan otomatis membuat prompt detail untuk DALL·E 3
  • Jika menyukai gambar hasil tetapi detailnya belum tepat, pengguna dapat mengajukan permintaan revisi dengan beberapa kata, dan gambar yang dihasilkan tidak memerlukan izin tambahan untuk dicetak ulang, dijual, atau dikomersialisasikan
  • Sebagai langkah keamanan, permintaan nama tokoh publik nyata dan permintaan gaya seniman yang masih hidup akan ditolak, dan kreator nantinya dapat opt out agar gambarnya tidak digunakan dalam pelatihan model pembuat gambar

Pembuatan gambar yang mengikuti teks dengan lebih akurat

  • DALL·E 3 tersedia bagi pengguna ChatGPT dan pengembang melalui API
  • Sistem teks-ke-gambar cenderung mengabaikan kata atau deskripsi, sehingga untuk mendapatkan hasil yang diinginkan pengguna sering harus mempelajari prompt engineering
  • DALL·E 3 bertujuan menghasilkan gambar yang mengikuti teks yang diberikan pengguna dengan lebih akurat
  • Dirancang untuk memberikan peningkatan yang terlihat dibanding DALL·E 2 bahkan dengan prompt yang sama

Terhubung dengan ChatGPT untuk pembuatan dan revisi prompt

  • DALL·E 3 terintegrasi secara native ke ChatGPT, sehingga proses mencari ide dan menyempurnakan prompt dapat dilakukan di dalam ChatGPT
  • Pengguna dapat meminta adegan yang ingin dilihat dalam bahasa alami, dari kalimat singkat hingga paragraf yang detail
  • Berdasarkan ide pengguna, ChatGPT secara otomatis membuat prompt detail yang disesuaikan untuk DALL·E 3
  • Jika menyukai gambar tertentu tetapi hasilnya belum persis seperti yang diinginkan, pengguna dapat meminta revisi hanya dengan beberapa kata

Hak penggunaan gambar yang dihasilkan

  • Gambar yang dibuat dengan DALL·E 3 dapat digunakan oleh pengguna
  • Sama seperti DALL·E 2, tidak diperlukan izin tambahan dari OpenAI untuk mencetak ulang, menjual, atau mengomersialisasikan gambar yang dihasilkan

Langkah keamanan untuk mengurangi pembuatan tokoh publik dan bias berbahaya

  • DALL·E 3 memiliki mitigasi yang menolak pembuatan gambar yang secara langsung meminta nama tokoh publik
  • OpenAI bekerja sama dengan red team untuk meningkatkan performa keamanan di area berisiko seperti pembuatan tokoh publik dan bias berbahaya terkait representasi visual yang berlebihan atau kurang
    • Red team adalah para ahli domain yang melakukan stress test pada model
    • Pekerjaan ini dimanfaatkan untuk evaluasi risiko dan upaya mitigasi di area seperti propaganda dan misinformasi
  • OpenAI juga sedang meneliti cara yang lebih baik untuk mengidentifikasi apakah suatu gambar dibuat oleh AI
  • Mereka sedang menguji alat internal provenance classifier, yang dapat membantu mengidentifikasi apakah sebuah gambar dibuat dengan DALL·E 3
  • OpenAI berencana menggunakan alat ini untuk lebih memahami bagaimana gambar yang dihasilkan dapat digunakan, dan akan membagikan informasi tambahan

Kontrol kreator dan materi referensi

  • DALL·E 3 dirancang untuk menolak permintaan gambar dalam gaya seniman yang masih hidup
  • Kreator dapat melakukan opt out agar gambarnya dikecualikan dari pelatihan model pembuat gambar di masa mendatang
  • Materi terkait yang disediakan meliputi makalah penelitian dan formulir opt out gambar

Bacaan terkait

1 komentar

 
GN⁺ 2023-09-21
Pendapat Hacker News

  • Jika belum dirilis, ini masuk kategori pengumuman tentang pengumuman (https://hn.algolia.com/?dateRange=all&page=0&prefix=true&sor...)
    Saat sudah ada hal nyata untuk didiskusikan, thread bisa dibuka saat itu, dan tidak ada ruginya menunggu (https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...)

    • Ini pertama kalinya saya melihat posting yang diturunkan visibilitasnya sekuat ini, tapi karena “pengumuman” ini memang sangat antiklimaks, saya menyambutnya

  • Untuk yang tertarik: tahun lalu saya membuat sekitar 7.000 gambar dengan DALL·E 2 dan mengunggahnya ke https://generrated.com/
    Saya ingin bereksperimen dengan apa yang bisa dibuat DALL·E 2, lalu membagikannya sebagai inspirasi atau titik awal bagi orang lain
    Karena API belum tersedia, semuanya harus dibuat dan disimpan secara manual, dan biayanya juga cukup besar, tetapi itu menyenangkan
    Sepertinya saya harus memperbarui semuanya jika mendapat akses ke DALL·E 3

    • Kalau itu dilakukan, akan keren jika bisa melihat perbandingan gambar v2 dan v3
    • Sekarang nama seniman tidak bisa dipakai dalam prompt, jadi sepertinya akan sulit mempertahankan situs itu dengan DALL·E 3
      Edit: sebenarnya tampaknya hanya seniman yang masih hidup yang tidak boleh dipakai dalam prompt, dan setidaknya begitulah yang tertulis di artikelnya
    • Saya penasaran apakah ada yang tahu alasan teknis spesifik mengapa model ini begitu tidak bisa menggambar kata
      Ada pola yang memungkinkan kita membuat banyak sekali hipotesis masuk akal, tetapi karena penasaran saya ingin tahu penyebab sebenarnya
      Dari gambar-gambarnya, yang sangat menarik adalah teksnya tidak pernah tepat sekalipun dan selalu sedikit meleset. Kadang meleset jauh, tetapi umumnya cukup dekat
    • Aneh sekali mengapa platform-platform seperti ini membuat pengelolaan gambar, pengunduhan, dan pengambilan prompt lengkap jadi begitu sulit
      Saya membuat bot Discord untuk Midjourney, yang dengan konfigurasi sederhana bisa mengunduh gambar dan memberi anotasi dengan sebanyak mungkin informasi yang bisa diambil, termasuk versi: https://github.com/ernop/social-ai/tree/main/SocialAI
      Meski begitu belum sempurna. Informasinya diambil dari perintah yang dikirim, dan karena saat itu mungkin bergantung pada nilai default, jika diinterpretasikan sekarang, versi, seed, dan sebagainya dari masa lalu sulit direkonstruksi kecuali disertakan dalam prompt
      Namun setidaknya bagus bahwa saya bisa menyimpan permanen folder berisi 30 ribu gambar beserta prompt-nya, lalu menjalankannya lagi nanti untuk membandingkan dari waktu ke waktu
    • Cukup bagus. Awalnya saya merasa agak hambar karena hanya ada 5 gambar, tetapi karena berisi banyak contoh beragam gaya dan konsep, ini menjadi sumber inspirasi yang sangat baik

  • Beberapa hal yang terpikir: integrasi ChatGPT ini sangat besar. Jika integrasi dengan ChatGPT Plus dan enterprise hadir pada Oktober, ini bisa sangat menekan Midjourney dan berbagai perusahaan SaaS teks-ke-gambar, serta mendorong mereka untuk fokus pada penggunaan NSFW
    Kualitasnya tampak mirip dengan Midjourney, tetapi Midjourney juga punya fitur berguna seperti upscaling atau pembuatan beberapa variasi. Saya penasaran apakah DALL·E 3 bisa mengejar dari sisi pengalaman pengguna
    Untuk UI, saya jauh lebih menyukai ChatGPT daripada Discord, jadi opsi ini lebih baik

    • Hal yang benar-benar bisa mengejutkan dari integrasi ChatGPT adalah kemampuannya merevisi gambar secara iteratif sampai mencapai hasil yang diinginkan, seperti kita menyempurnakan teks dengan ChatGPT
      Saat ini Midjourney atau Stable Diffusion kadang menghasilkan gambar luar biasa dan kadang tidak, rasanya seperti kasino. Stable Diffusion bisa diberi mask lalu dicoba lagi, tetapi itu merepotkan dan memakan banyak waktu
      Jika kita bisa mengatakan, “Gambar ini bagus, tapi saya ingin monyetnya cuma satu, dan ubah langitnya menjadi hijau,” lalu model menerima gambar asli dan memodifikasinya, itu akan benar-benar mengubah permainan
      Mungkin besar kemungkinan dalam praktiknya tidak bekerja seperti itu, tetapi saya berharap begitu
    • DALL·E 2 sudah memiliki pembuatan variasi dan inpainting jauh sebelum Midjourney
      Meski begitu, akan sangat menarik melihat siapa dan apa yang akan menang dalam persaingan ini
    • Sepertinya integrasi ChatGPT tidak akan sebesar itu
      Bing Chat sudah memakai GPT-4 secara internal, Bing Image Creator juga sudah terintegrasi, dan secara internal memakai kira-kira DALL·E 2.5, tetapi hasilnya tidak bagus
      Itu hanya sebatas menuliskan prompt gambar untuk kita, dan terasa seperti permainan telepon yang tidak berguna karena hanya meneruskan sekali lagi hal yang sebenarnya bisa kita tulis sendiri
    • Secara adil, pasar NSFW cukup besar, dan itu saja sudah cukup untuk menghidupi banyak perusahaan
      Mungkin juga ada model bahasa besar yang dilatih dengan Literotica
    • Saya kurang yakin. Saya sudah membuat prompt untuk Midjourney dengan ChatGPT, dan hanya butuh beberapa klik
      Saya tidak merasakan perbedaan besar, apalagi Midjourney jauh lebih bagus daripada DALL·E

  • “DALL·E 3 dirancang untuk menolak permintaan gambar dalam gaya seniman yang masih hidup”, “Kreator kini dapat mengecualikan gambar mereka dari pelatihan model pembuatan gambar di masa mendatang”
    Kalau begitu, versi kali ini pun memakai karya berhak cipta untuk pelatihan tanpa izin
    Selain itu, beban untuk mengajukan pengecualian secara manual dilemparkan ke para seniman
    Apa mereka tidak takut suatu saat pengadilan akan memaksa mereka membayar biaya kepada tiap seniman untuk setiap gambar yang dihasilkan?

    • Aku juga dilatih seperti itu
    • Sepertinya mereka bertaruh bahwa saat hal seperti itu terjadi, nasinya sudah menjadi bubur
      Dengan kata lain, pengadilan harus memaksa ribuan perusahaan yang sangat besar dan kuat untuk membayar jutaan orang, yang pada praktiknya menjadi upaya hukum yang sulit ditangani
    • Belum ada bukti pasti bahwa mereka “melatih ulang dengan karya berhak cipta”
      Mereka tidak mengungkap sumber atau metodologinya, dan selain “pelatihan” serta “hak cipta”, sisanya masih jadi tanda tanya. Kalau tidak begitu, mereka pasti sudah membayar royalti
      Bisa saja mereka menggunakan keluaran versi 2 sebelumnya bersama prompt yang dibuat GPT, lalu manusia mengoreksinya agar sesuai dengan gambar yang dihasilkan
      Bisa juga mereka menganalisis gambar baru dan gambar lama dengan computer vision, lalu jika ada fitur baru pada gambar, menambahkannya ke prompt dan melatih ulang
    • Seniman yang masih hidup seharusnya bisa meminta gambar dalam gaya mereka sendiri
    • Bahwa hal seperti ini “diizinkan” dalam sistem hak cipta umum, lalu kini masuk ke produk komersial untuk publik, benar-benar gila
      Melihat kondisi pengadilan, tidak ada harapan hal ini akan dibatalkan
      Kemungkinan besar mereka membuat kesepakatan di belakang layar dengan pemegang kekayaan intelektual besar seperti Disney agar tidak mengusik beruang, sementara pihak-pihak kecil dibiarkan tidak mampu membela diri—tepatnya, mereka sudah miskin dan dibuat makin tidak punya uang

  • Ini tampaknya bisa menjadi ancaman nyata bagi Midjourney, tetapi sepertinya tidak akan menyingkirkan Stable Diffusion
    Kepatuhan terhadap prompt tampaknya akan sangat baik, tetapi kurangnya kustomisasi dan pembatasan gaya seni akan sangat mengurangi kegunaannya
    Orang-orang mungkin akan membuat gambar dasar untuk komposisi dengan DALL·E 3, lalu menjalankan gaya, upscaling, dan detailnya di Stable Diffusion

    • Saya penasaran kenapa Anda melihatnya bukan ancaman bagi Stable Diffusion
      Saya jauh lebih sering melihat gambar berkualitas sangat tinggi yang sulit dibedakan apakah hasil generatif atau bukan dari Midjourney dibanding Stable Diffusion
    • Pembatasan gaya seni, jujur saja, bikin tidak nyaman. Saya tidak terlalu tertarik
      Filtering Midjourney saja sudah cukup menyebalkan, dan ChatGPT yang terus-menerus menolak permintaan sederhana tanpa alasan berarti hanya karena bisa disalahpahami juga sangat menyebalkan
      Kalau keduanya digabung lalu ditambah filtering gaya seniman secara eksplisit, saya akan lewat saja
      Sebagai tambahan, saya bukan membuat NSFW dengan Midjourney. Yang saya maksud adalah situasi ketika saya ingin “foto stok seseorang memotong keju di atas meja dapur”, tetapi tidak bisa memakai kata seperti “cutting” atau “slicing” karena kata-kata itu bisa dipakai untuk membuat gambar gore

  • Lucu juga mereka bilang “Kreator kini dapat mengecualikan gambar mereka dari pelatihan model pembuatan gambar di masa mendatang”, tetapi tautannya adalah formulir untuk mengirim satu gambar per satu
    Mereka memang mengatakan bisa memblokir GPTBot di situs, tetapi masalahnya bagaimana jika bot sudah telanjur mengambil gambar
    Lagi pula, orang lain bisa saja mengunggah foto saya ke situs web lain yang tidak memblokir GPTBot

  • Karena proyek belakangan ini, saya membuat banyak gambar Midjourney, dan kembali menyadari sesuatu yang sepertinya tidak dipahami para penganut kiamat seni AI: pentingnya kurasi
    Cukup lihat sekilas /r/Midjourney atau gambar rekomendasi di tautan DALL·E di atas, dan terlihat betapa membosankannya “hasil default” dari generator
    Membuat gambar mungkin jadi lebih mudah, tetapi untuk memilih gambar mana yang menarik, tetap dibutuhkan kepekaan artistik dan keterampilan
    Dalam gambaran besar, seni bergaya ilustrasi tampaknya akan makin menjadi aktivitas kurasi, dan kemampuan menyaring dari tumpukan besar gambar akan menjadi keterampilan utama

    • Mungkinkah mirip dengan fotografi?
    • Saya tidak terlalu paham alat teks-ke-gambar, tetapi bukankah kita bisa memberikan gambar acuan sebagai input
      Kalau bisa membuat gambar acuan untuk dimasukkan sebagai input, saya rasa hasilnya akan lebih baik. Semakin baik input, semakin baik pula output
      Di ranah komersial, rasanya seniman yang pandai memanfaatkan AI akan melesat lebih dulu
    • Saya tidak tahu tahap seperti itu akan bertahan berapa lama, dan menurut saya tidak ada yang boleh bergantung padanya
    • Sepertinya AI yang menyaring berdasarkan preferensi manusia juga bisa dilatih
      Meski begitu, masih ada ruang bagi seniman yang punya selera dan bakat teknis untuk memanipulasi gambar agar lebih mendekati ideal yang terkurasi
      Seperti alur kerja Photoshop berbasis Stable Diffusion sekarang, hasil generatif membentuk dasarnya, lalu ketika alur kerja matang, input manual tampaknya akan meningkat lagi
      Misalnya, dengan ControlNet untuk menetapkan pose atau tata letak tertentu dan mengunci komposisi, AI mengisi 90%, lalu manusia memoles 10% terakhir sesuai selera dan mengulanginya

  • Melihat poin “DALL·E 3 dibangun secara native di atas ChatGPT”, integrasi erat antara ChatGPT dan pembuatan gambar, serta tidak adanya makalah riset saat pengumuman, saya sangat curiga ini adalah uji coba operasional kemampuan multimodal GPT-4 dan kemungkinan besar berjalan di infrastruktur serupa

    • GPT-4 hanya bisa teks-ke-teks dan gambar-ke-teks, dan tidak bisa menghasilkan gambar secara langsung
      Jadi mereka hanya akan memakai panggilan API. Tidak ada yang istimewa, dan Bing juga melakukan hal yang sama
    • Gambar yang sejauh ini dibuat GPT-4 belum pada level ini, tetapi bisa saja ini versi yang lebih baru
      Referensi: https://arxiv.org/pdf/2303.12712.pdf

  • Apakah materi “pelatihan” yang berhak cipta sudah dihapus, atau mereka masih “belajar” dari jerih payah orang tanpa persetujuan lalu menjualnya tanpa izin?

    • Kalau melihat bagian akhir pengumumannya, kata-katanya sangat hati-hati: “DALL·E 3 dirancang untuk menolak permintaan gambar dengan gaya seniman yang masih hidup. Kreator kini dapat mengecualikan gambar mereka dari pelatihan model pembuatan gambar di masa mendatang”
      Jadi artinya mereka masih bertumpu pada jerih payah orang, tetapi sisi baiknya, orang bisa mengajukan pengecualian agar karya mereka tidak menjadi makanan bagi DALL·E 4
    • Secara hukum, kemungkinan besar tidak akan jadi masalah besar
      Intinya bergantung pada apakah mereka bisa berhasil berargumen bahwa AI belajar seperti manusia, sehingga output yang bukan salinan langsung dari karya yang ada adalah karya cipta baru
      Hal serupa juga berlaku jika AI meniru gaya seni seorang seniman. Ini mirip dengan manusia yang menghabiskan akhir pekan melihat karya seorang seniman lalu menggambar karya pesanan dengan gaya yang sama, dan karena gaya seni tidak dapat dilindungi hak cipta, itu sepenuhnya legal
      Tentu saja Adobe mungkin menginginkan sebaliknya[0]
      0: https://twitter.com/UltraTerm/status/1679294173793628161
    • Tidak dihapus. Dalam jangka panjang, ini mungkin salah satu alasan AI Adobe bisa menang
      Hal lain yang terus terpikirkan adalah apakah hasil buatan AI seperti ini bisa memicu keruntuhan ala industri gim
      Jika konten AI yang banyak dipromosikan tetapi tidak bermakna dan bernilai rendah membanjiri pasar, konsumen bisa kehilangan minat lalu berhenti membelanjakan uang di berbagai industri seperti buku, gim, film, seni digital, dan musik, hingga semuanya runtuh
    • OpenAI melisensikan data gambar dari Shutterstock, jadi mungkin saja semuanya dilatih dengan gambar berlisensi
      https://investor.shutterstock.com/news-releases/news-release...
      Seperti biasa, akan bagus jika ada lebih banyak transparansi soal data pelatihan
    • Saya selalu tidak suka seniman manusia “berlatih” dengan melihat karya orang lain tanpa izin, mengunduhnya ke otak daging mereka tanpa izin, lalu melatih jaringan saraf organik mereka dengan seni itu
      Itu tidak boleh dilakukan. Dari sudut pandang maksimalisme hak cipta, itu adalah pelanggaran hak cipta

  • Satu lagi perlombaan dimulai
    Sebagian orang tampaknya sangat antipati terhadap OpenAI, tetapi setidaknya OpenAI benar-benar sangat pandai menjadikan dirinya tolok ukur yang harus dilampaui di bidang tertentu
    Dan dengan melakukan itu, mereka tampaknya mendorong seluruh bidang cukup jauh ke depan

    • Alasan saya tidak suka OpenAI adalah karena mereka didirikan demi keselamatan AI, padahal hal yang paling bertentangan dengan keselamatan adalah mendorong perlombaan kemampuan AI, dan OpenAI justru melakukan hal itu berulang kali
    • Jangan lupa bahwa OpenAI pada dasarnya akan segera menjadi Microsoft
      Orang tua seperti saya ingat apa saja yang dilakukan Microsoft pada era 90-an. Kalau sekarang mereka unggul di suatu bidang, mereka akan melakukan hal yang sama, dan di balik layar kadang mereka masih melakukannya
      Saya tidak suka FB atau Zuckerberg, tetapi merilis LLAMA secara gratis adalah langkah yang bagus
      Saya berharap ada kebocoran lain dari dalam OpenAI supaya kita bisa mendapatkan akses ke semuanya