Nightshade: Alat ofensif bagi seniman untuk melawan generator seni AI

• Nightshade adalah alat untuk menanggapi situasi ketika gambar online digunakan tanpa persetujuan untuk melatih AI generatif, dengan mengubah karya menjadi sampel poison yang tidak cocok untuk pelatihan model
• Daftar opt-out serta instruksi do-not-scrape/robots.txt sulit diverifikasi dan ditegakkan, dan pelanggarnya juga sulit diidentifikasi dengan keyakinan tinggi, sehingga kreator kekurangan sarana kontrol yang nyata
• Gambar yang telah diubah tidak tampak jauh berbeda dari aslinya bagi mata manusia, tetapi membuat model AI mempelajari komposisi lain sehingga memicu hasil yang sulit diprediksi
• Jika Glaze adalah alat defensif yang mencegah peniruan gaya seniman individual, Nightshade adalah alat ofensif opsional yang menaikkan biaya pelatihan bagi model yang melakukan scraping tanpa persetujuan
• Saat ini Nightshade v1.0 adalah alat mandiri dan tidak menyediakan perlindungan dari peniruan seperti Glaze, jadi hindari menggunakannya sendiri pada karya yang dikhawatirkan akan ditiru gayanya

---

Respons terhadap pengumpulan data pelatihan tanpa persetujuan

• Model AI generatif dan pihak yang melatihnya telah menunjukkan kemampuan untuk mengunduh konten online untuk pelatihan model
• Pemilik konten dan kreator hampir tidak memiliki alat untuk mencegah karya mereka masuk ke model AI generatif bertentangan dengan kehendak mereka
• Daftar opt-out pernah diabaikan oleh pihak pelatih model sebelumnya, dan dapat dengan mudah diabaikan tanpa konsekuensi berarti
• Instruksi do-not-scrape juga sulit diverifikasi dan ditegakkan, serta sulit mengidentifikasi pelanggarnya dengan keyakinan tinggi

Cara kerja Nightshade

• Nightshade mengubah gambar menjadi sampel poison yang tidak cocok untuk pelatihan model
• Model yang melatih diri dengan gambar seperti ini tanpa persetujuan dapat mempelajari perilaku tak terduga yang menyimpang dari perilaku yang diharapkan
  • Misalnya, ketika diminta gambar “sapi terbang di luar angkasa”, model bisa menghasilkan gambar tas tangan yang melayang di luar angkasa
• Tujuannya bukan sekadar merusak model, melainkan menaikkan biaya pelatihan dengan data tanpa izin sehingga opsi melisensikan gambar dari kreator menjadi alternatif yang realistis

Gambar yang dilihat berbeda oleh manusia dan model

• Nightshade bekerja mirip dengan Glaze, tetapi bukan pertahanan terhadap peniruan gaya; ini adalah alat ofensif yang mendistorsi representasi fitur internal pada model gambar AI generatif
• Transformasinya dihitung dengan optimisasi multi-tujuan yang meminimalkan perubahan kasatmata pada gambar asli
• Bagi mata manusia, gambar yang di-shade umumnya tampak mirip dengan aslinya, tetapi model AI dapat melihat komposisi yang sangat berbeda di dalam gambar
  • Manusia dapat melihat gambar sapi di padang rumput hijau hampir seperti semula
  • Model AI dapat melihatnya sebagai dompet kulit besar yang diletakkan di rerumputan
  • Jika cukup banyak belajar dari gambar shaded yang berisi sapi, model dapat semakin yakin bahwa sapi memiliki pegangan kulit cokelat, kantong samping yang halus, ritsleting, dan logo merek

Efek yang tetap bertahan terhadap modifikasi gambar umum

• Efek Nightshade tangguh terhadap perubahan yang lazim diterapkan pada gambar
• Efek poison tetap ada setelah pemotongan, resampling, kompresi, smoothing piksel, dan penambahan noise
• Efek shade juga tetap bertahan meskipun gambar yang ditampilkan di monitor diambil sebagai screenshot atau difoto
• Ini karena Nightshade bukan watermark atau steganografi berupa pesan tersembunyi, dan bukan metode yang mudah rusak

Perbedaan peran Nightshade dan Glaze

• Glaze adalah alat defensif bagi seniman individual untuk melindungi diri dari serangan peniruan gaya
• Nightshade adalah alat ofensif bagi para seniman secara kolektif untuk mengganggu model yang melakukan scraping gambar tanpa persetujuan
• Disarankan untuk menerapkan Glaze pada semua karya yang diunggah online agar seniman melindungi dirinya sendiri
• Nightshade adalah fitur opsional untuk menahan pihak pelatih model yang tidak beretika
• Seniman yang memublikasikan karyanya secara online idealnya menerapkan Glaze dan Nightshade sekaligus
• Rilis yang mengintegrasikan kedua alat sedang dikerjakan

Hal yang perlu diperhatikan saat penggunaan

• Perubahan yang dibuat Nightshade dapat lebih terlihat pada karya dengan warna datar dan latar belakang yang mulus
• Karena Nightshade bertujuan mengganggu model, intensitas rendah atau tingkat poison rendah tidak akan menghasilkan konsekuensi negatif bagi pemilik gambar
• Pengaturan intensitas rendah disertakan bagi pengguna yang ingin memprioritaskan kualitas visual gambar asli
• Seperti serangan atau pertahanan keamanan lainnya, sulit menganggap Nightshade akan tetap efektif dalam jangka panjang di masa depan
• Sebagai alat ofensif, Nightshade dapat berevolusi dengan mudah untuk menyesuaikan diri terhadap potensi penanggulangan atau pertahanan

Cara distribusi dan pemrosesan data

• Tujuan Nightshade adalah menemukan dan mempelajari hal baru melalui riset, serta memberi dampak positif bagi dunia
• Nightshade dirancang agar berjalan tanpa jaringan, seperti Glaze
• Data atau karya tidak dikirimkan ke tim Nightshade maupun ke tempat lain
• Nightshade v1.0 dirancang sebagai alat mandiri
• Versi saat ini tidak menyediakan perlindungan dari peniruan seperti Glaze, sehingga cara penggunaannya perlu diperhatikan
  • Jika ada kekhawatiran sekecil apa pun tentang peniruan gaya, jangan memublikasikan gambar karya yang hanya diberi Nightshade
• Cara Nightshade dan Glaze bekerja bersama sedang diuji
• Setelah siap, Nightshade akan dirilis sebagai add-on WebGlaze agar pengguna WebGlaze dapat menerapkan Nightshade dan Glaze sekaligus pada satu gambar

Makalah teknis dan referensi

• Cara memasang, menjalankan dan mengatur, serta menghapus Nightshade dapat dilihat di User guide
• Judul makalah teknisnya adalah Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models
• Penulisnya adalah Shawn Shan, Wenxin Ding, Josephine Passananti, Haitao Zheng, Ben Y. Zhao
• Makalah ini dijadwalkan terbit di 45th IEEE Symposium on Security and Privacy yang diselenggarakan di San Francisco pada Mei 2024
• Preprint-nya adalah arxiv/2310.13828, dipublikasikan pada Februari 2024

[GN⁺]

Komentar Hacker News

• Makalahnya ada di sini: https://arxiv.org/abs/2310.13828

• Metode ini tampaknya menghasilkan artefak sampai pada tingkat yang sulit diterima banyak artis: https://twitter.com/sini4ka111/status/1748378223291912567
  Dari yang terdengar, ini a) nyaris hanya bekerja pada prosedur pelatihan generasi sebelumnya, b) sama sekali tidak mempan pada prosedur terbaru seperti GPT-4V, LLaVA, bahkan pelabelan BLIP2, dan c) meskipun dampaknya membesar dan dipakai luas, penanganannya tidak akan terlalu sulit
  Karya sebelumnya dari para penulis, Glaze, juga tampaknya tidak terlalu efektif meskipun klaimnya dibesar-besarkan, jadi ini mungkin contoh hasil yang menarik secara akademis tetapi dibungkus berlebihan padahal kegunaan nyatanya rendah
  [1]: Disediakan oleh /u/b3sn0w di Reddit: https://imgur.com/cI7RLAq https://imgur.com/eqe3Dyn https://imgur.com/1BMASL4

  • Tangkapan layar di [1] adalah inferensi, bukan pelatihan. Agar ada efek, gambar yang diproses dengan Nightshade harus masuk ke dalam dataset pelatihan milik generator gambar
    Memasukkan gambar ke GPT-4V, Stable Diffusion img2img, dan sejenisnya bukan melatih AI; modelnya sepenuhnya tetap dan tidak berubah sama sekali[0]
    Saya belum tahu apakah masih ada pihak yang mengeruk gambar baru lalu memasukkannya ke pelatihan generator. Saya dengar OpenAI berhenti melakukan scraping sekitar 2021 karena khawatir melatih ulang dari output modelnya sendiri[1], dan Adobe Firefly mengklaim dilatih dengan gambar Adobe Stock, tetapi titik waktu cut-off internal Adobe tidak diketahui[2]
    Jika yang diinginkan adalah membuat GPT-4V atau Stable Diffusion tersandung pada tahap inferensi, yang dibutuhkan adalah gambar adversarial. Saya tidak tahu apakah pelatihan adversarial mungkin dilakukan terhadap model tanpa bobot, tetapi saya pernah dengar bahwa jika digeneralisasikan terhadap beberapa model independen, hasilnya bisa cukup merusak[3]
    [0] Kemampuan yang tampak seperti pelatihan pada generator teks berasal dari jendela konteks, tetapi itu hanya memori jangka pendek sekitar 2048 token dan tidak ada kemampuan memori lain
    [1] Skenario saat ini terjadi kadang-kadang secara bercanda disebut Habsburg AI. Model belajar dari biasnya sendiri, memperkuatnya menjadi bias yang lebih kuat, sambil melupakan yang lain
    [2] Akan sangat ironis jika satu-satunya generator AI yang dirusak Nightshade justru generator yang setidaknya mencoba sedikit lebih etis
    [3] Dalam kasus ekstrem, gambar adversarial juga menipu manusia. Namun penelitian seperti itu hanya menampilkan gambar dalam waktu singkat, dengan gagasan bahwa paparan singkat mirip dengan jaringan saraf feed-forward tanpa jalur komputasi rekursif. Jika dilihat lebih lama, akan jelas bahwa foto suatu objek telah diedit agar tampak seperti objek lain
  • Bahkan pada skenario terburuk, ini tampaknya bisa diredam dengan langkah difusi img2img sederhana, dan dari contoh-contohnya saja, denoiser tradisional pun sepertinya sudah cukup
    Denoising kemungkinan memang sudah merupakan langkah prapemrosesan yang baik
  • Kalau dilihat di ponsel, saya hampir tidak bisa membedakan gambar contoh di Twitter itu
  • Mungkin ini lebih dekat ke penggunaan untuk “melindungi” gambar yang ingin dibagikan secara publik oleh artis demi promosi karya, tetapi tidak cocok dipakai sebagai medium digital final
  • Sudah jelas pihak yang mencuri akan terus menyesuaikan prosedur mereka untuk melumpuhkan langkah balasan seperti ini. Rasanya artis tidak akan menang dalam perlombaan senjata ini
    Orang-orang di sisi LLM tampaknya memang tidak berniat membayar secara sah, dan ringkasan rencana bisnisnya pada dasarnya adalah “curi semua yang bisa dijangkau”

• Ada pasar yang sangat besar untuk produk tipu-tipu di sini. Selama seni harus bisa dilihat oleh mata manusia, alat seperti ini tidak mungkin menang, dan bahkan kalaupun berhasil, secara prinsip akan langsung bisa dilewati
  Bagi artis maupun siapa pun, satu-satunya cara realistis untuk mencegah model belajar dari output manusia adalah hukum, yaitu menggunakan daya paksa yang didukung negara untuk menahan hal yang tidak diinginkan. Ini pun tidak sempurna, dan justru bisa memperbesar insentif untuk mengembangkan jaringan pelatihan terdistribusi yang “mencuci” pelanggaran hak cipta agar sulit dihukum
  Pada akhirnya ini setidaknya pertempuran yang kalah, dan dalam skenario terburuk merupakan pertempuran yang bodoh. Kalau gambar diunggah agar bisa dilihat bebas oleh manusia, kita tidak bisa mencegah komputer mengamatinya, jadi model seperti ini mudah dibuat dan pada akhirnya akan tetap dibuat

  • Melihat tingkat klaimnya yang disertai antusiasme dari audiens dengan literasi teknis rendah saja, tanpa perlu menyelidiki dalam-dalam ini sudah tampak dan terasa seperti produk tipu-tipu
    Selain hukum, ada cara lain. Karya hanya diberikan untuk tontonan privat, dan penonton di lokasi tidak boleh membawa perangkat perekam. Mungkin terdengar absurd, tetapi ini praktik umum untuk aktivitas seperti hubungan seksual
  • Berlawanan dengan pernyataan “selama seni harus terlihat oleh persepsi manusia, alat seperti ini tidak mungkin menang”, lingkungan adversarial justru bisa mendorong model menuju representation learning yang lebih selaras dengan persepsi manusia, dan itu menarik
  • Ini masalah analog hole yang sudah lama: https://en.m.wikipedia.org/wiki/Analog_hole
  • Alat ini gratis, dan tampaknya berjalan secara lokal. Jika tidak menjual apa pun dan tidak ada motif keuntungan, rasanya sulit menyebutnya produk tipu-tipu secara masuk akal
    Dalam skenario terburuk pun ini hanya buang waktu, bukan situasi di mana seseorang tertipu untuk membeli
  • Inilah kenyataan pahitnya. Jin yang sudah keluar tidak bisa dimasukkan kembali ke dalam botol
    Sekarang satu-satunya cara bertahan hidup sebagai artis adalah punya gaya yang benar-benar khas, dan jangan pernah mengunggahnya ke internet

• Beberapa bulan lalu, saya membuat proof of concept bahwa jika Stable Diffusion XL di-fine-tune dengan gambar yang salah atau tidak konsisten, saat gambar-gambar itu dipakai sebagai prompt negatif, model justru bisa menghasilkan gambar yang lebih “baik”: https://news.ycombinator.com/item?id=37211519
  Dengan kata lain, ini seperti menentukan wilayah berdimensi tinggi dalam ruang laten yang harus dihindari oleh generasi model. Mendorong pembuatan dataset termanipulasi dalam jumlah besar secara paradoks tidak nol kemungkinannya untuk justru meningkatkan model seni AI generatif. Sebab model bisa belajar mengenali data yang dimanipulasi dan membuat proses pelatihan menghindarinya

• Ini tampak seperti perlombaan senjata atau permainan kucing dan tikus yang cukup sia-sia. Jika pihak yang ingin melatih model gambar generatif sama sekali tidak peduli pada opini para artis, mereka cukup melakukan pascapemrosesan dasar yang bisa merusak perubahan sangat halus yang disetel oleh algoritme Nightshade
  Misalnya, dengan melakukan resampling ke resolusi yang sedikit lebih rendah lalu membesarkannya lagi memakai model super-resolusi lain, penyesuaian mikro seperti ini tampaknya bisa dirusak tanpa perbedaan besar bagi mata manusia
  Ke depan, saya rasa ada kemungkinan pengadilan pada umumnya akan berpihak kepada artis karena tekanan sosial. Artis dapat mempermasalahkan gambar yang ditemukan, lalu model machine learning lain bisa dipakai untuk dengan cepat menilai apakah gambar hasil generatif “terlalu mirip” dengan gaya artis tersebut. Tentu saja, gaya itu harus cukup berbeda dari orang lain agar klaim hukumnya masuk akal
  Atau mungkin para artis akan berhenti memonetisasi gambar itu sendiri dan fokus pada produksi keluaran fisik. Mirip dengan bagaimana musisi independen sekarang menghasilkan sebagian besar uang dari tur, penjualan merchandise di venue, dan Patreon. Jika perubahan fundamental sebesar ini terjadi begitu cepat, memprediksi masa depan jadi sangat sulit

  • Bahkan sekarang pun seni sudah bukan profesi yang berkelanjutan bagi sebagian besar orang yang tidak mendapat pekerjaan di industri. Monetisasi yang paling umum adalah komisi atau menyembunyikan konten tambahan di balik paywall
    Dalam masa depan yang sinis, saya rasa kita bisa melihat lebih banyak yang disebut “artis furry”. Seperti halnya Big Tech lain, ranah 18+ kemungkinan akan diblokir keras oleh berbagai pihak berkuasa. Maka karya NSFW akan agak terlindungi dari perkembangan itu, dan orang akan harus mencari model pelatihan bawah tanah atau kembali ke artis lagi
  • Jika ada “makna” dalam hal ini, itu adalah mendorong model AI agar lebih baik menangkap cara manusia melihat sesuatu
  • Model musisi yang sekarang menghasilkan sebagian besar uang dari tur dan penjualan merchandise venue sebenarnya sudah menjadi arus utama dan memang selalu begitu dalam garis keturunan yang kemudian disebut musik “tradisional”, “Americana”, dan “Appalachian”
    The Grateful Dead menerapkan model ini dengan sangat canggih, dan kadang sengaja menghindari klaim hak kekayaan intelektual atas karya mereka sendiri. Itu karena mereka percaya klaim seperti itu menghambat kesuksesan, dan pada akhirnya mereka meresmikan advokasi ini dengan nama “The Electronic Frontier Foundation”. Bahwa EFF lahir dari kultur deadhead bukanlah kebetulan
  • Dari sudut pandang tertentu, cukup lucu melihat para artis marah karena kehilangan monopoli atas praktik mencuri dan menyalin elemen komposisi dari artis lain lalu menyusunnya ulang menjadi sesuatu yang mirip namun baru
    Begitu juga dengan tidak adanya OpenArt sebagai padanan dari OpenSource. Tentu, saya paham bedanya: source code bukan untuk audiens umum dan bisa disembunyikan jika mau, sedangkan seni tidak begitu. Ini hanya produk sampingan dari cara pikir generatif
  • Intinya, meski Nightshade sendiri bisa diakali, selama permainan kucing dan tikus ini terus berjalan, lebih banyak tindakan balasan bisa muncul

• Saya rasa melatih AI dengan gambar-gambar ini justru akan membuat modelnya lebih baik, bukan lebih buruk. Para artis pada dasarnya sedang membuat data pelatihan gratis yang memberi tahu jenis noise apa yang tidak mengubah makna gambar yang mereka maksud

• Dalam waktu dekat, akan ada jumlah orang yang nyaris tak bisa dipercaya banyaknya yang dapat membuat seni berkualitas tinggi hanya dengan alat-alat yang sudah ada
  Ini cukup menggembirakan. Memberi miliaran orang kekuatan untuk mencampur gaya yang mereka sukai, menerapkannya pada subjek baru, dan membuat karya yang unik serta personal adalah kemampuan yang luar biasa keren

  • Dalam seni, publik cenderung memberi nilai pada asal-usul dan proses dibanding hasil akhirnya. Beberapa tahun lagi, ketika karya buatan AI sudah menjadi hal biasa, orang akan memandang rendah seni yang dibuat dengan AI
  • Dalam proses itu, alat seperti Nightshade akan menjadi tidak diperlukan
    Hanya dengan model AI memakan konten buatan AI, model itu akan runtuh dengan sendirinya. Lihat saja model collapse yang terkait dengan AI generatif
  • Ini akan menjadi alat yang sekeren kemampuan mengakses internet. Artinya, ia akan menjadi komoditas, transaksional, dan membosankan
  • Untuk itu, jutaan orang harus terasing dari kerja mereka sendiri
  • Tidak juga. Ada alasan kita merasa lukisan realis lebih menarik daripada foto, dan mengapa masih ada orang yang terus melukisnya. Upaya yang dicurahkan artis lain memengaruhi apresiasi kita

• Saya ingin ada biaya progresif untuk penggunaan hak cipta, kekayaan intelektual, dan paten, serta kerja sama dan legislasi pemerintah di seluruh dunia. Mungkin juga bisa ada skema yang memungkinkan penggunaan karya berhak cipta secara global bahkan tanpa izin awal, tetapi saya rasa kita tidak perlu melangkah sejauh ide aneh itu
  Akan bagus jika ada biaya lisensi berskala, misalnya persentase yang terhubung dengan pendapatan. Ada masalah tidak langsung bahwa margin laba berbeda menurut industri, tetapi itu tetap terasa paling adil
  Saya ingin hak cipta milik individu perlahan dikurangi secara global, atau dimulai dari UE, menjadi sampai 0 tahun setelah kematian penulis, dan hak cipta milik perusahaan menjadi maksimal 20~30 tahun
  Hukuman bagi perusahaan yang tidak melaporkan penggunaan atau tidak membayar biaya harus sangat tinggi. Misalnya 50% laba kotor tahunan atau 50% laba bersih, jadi bukan sekadar tamparan di pergelangan tangan dan tidak mudah dihindari, melainkan insentif agar sejak awal tidak mencuri
  [*] atau jangka waktu yang dianggap tepat oleh masyarakat
  [**] sampai deteksi otomatis, baik bagus atau buruk, menjadi cukup baik
  Menurut saya ini akan memungkinkan penggunaan pribadi, mendorong pendatang baru, memacu inovasi, dan mendorong perilaku yang lebih baik dari tempat seperti OpenAI

  • Saya tidak mengerti kenapa harus memakai momen kematian sebagai patokan
    Hak berakhir tak lama setelah kematian terasa tidak enak, perbedaan usia penulis juga membuat masa hak cipta sangat bervariasi, dan banyak karya akhirnya tetap mendapat hak cipta terlalu lama
    Tidak masalah sama sekali jika hak cipta berakhir saat penulis masih hidup. Cukup 20~30 tahun untuk semuanya
  • Mengira hal seperti ini bisa ditegakkan pada tingkat yang memadai adalah sangat naif. Hak cipta pada dasarnya sudah rusak, dan menempelkan plester yang terlambat puluhan tahun mungkin tidak akan banyak membantu

• Melihat “solusi” ini, rasanya dunia seni juga sedang masuk ke permainan kucing dan tikus yang selama 10~20 tahun terakhir dijalankan oleh ad blocker

  • Saya baru saja mengujinya dengan klasifikasi gambar Azure AI, dan itu berhasil. Jadi kucing ini masih belum menyesuaikan diri dengan ide terbaru si tikus
    Saya tetap merasa bahwa menjelajahi internet tanpa persetujuan lalu mengikis gambar untuk dipakai dalam AI yang dimonetisasi jelas salah. Saya berharap lebih banyak cara untuk melindungi karya seni menjadi lebih mudah diakses, termasuk untuk audio dan format lainnya
  • Saya mungkin melewatkan sesuatu karena tidak terlalu paham struktur Nightshade atau generator seni AI, tetapi saya penasaran apakah bagian pelabelan gambar pada generator bisa memakai arsitektur seperti GAN
    Maksudnya, dengan membuat model tambahan yang mencoba menipu model utama agar ketahanannya terhadap filter jenis Nightshade meningkat

• Artikel ini tidak menunjukkan bahwa metode ini merusak detail deskriptif gambar. Bahkan hanya dengan melihat thumbnail makalah rujukannya pun sudah terlihat: https://arxiv.org/pdf/2310.13828.pdf
  Dan mungkin aku naif, tetapi tampaknya cukup mudah untuk mengakalinya dengan filter pra-pemrosesan yang cepat. Aku tidak tahu apakah penghilangan noise tradisional saja sudah cukup, tetapi paling buruk pun tinggal menjalankan difusi img2img

  • Gambar yang terkontaminasi bukan untuk dinikmati, melainkan untuk di-scrape dan lolos pemeriksaan manusia dasar. Karena seluruh dataset harus dihilangkan noisenya, secara realistis itu sulit dilakukan, dan intinya adalah bahwa gambar seperti ini hampir tidak bisa dibedakan dari contoh set pelatihan biasa, sambil tetap bisa mendorong frekuensi prompt sesuka hati hanya dengan sedikit sampel yang terkontaminasi