Topik HN: Diffusion Mirror yang Dipasang di Dinding dan Mengubah Pantulan Menjadi Lukisan

 (matthieulc.com)
1 poin oleh GN⁺ 2024-10-24 | 1 komentar | Bagikan ke WhatsApp

  • PabloNet

  • Saya rasa perdebatan tentang apakah AI yang terhubung ke internet bisa kreatif itu jauh dari persoalan yang esensial. Seni adalah pengungkapan dunia batin, dan teknologi hanyalah sebagian darinya. Sangat disayangkan jika seni menuntut terlalu banyak aspek teknis. Tampaknya ada kemungkinan untuk memisahkan kedua elemen tersebut. Kreativitas interpolatif yang murah dan digunakan oleh 8 miliar non-seniman dapat mengungkap pandangan dunia yang baru.

  • Karena alasan ini, sebagai seseorang yang tidak berbakat dalam seni, saya sangat tertarik pada berbagai bentuk seni berbasis AI. Sejak beberapa bulan lalu, saya mulai menggunakan StreamDiffusion untuk melakukan diffusion pada feed webcam secara real-time. Tujuannya adalah menghasilkan efek visual yang indah dan membangkitkan emosi baru. Namun, bentuk laptop merusak ilusi itu. Karena itu, belakangan ini saya membuat bingkai LCD yang bisa digantung di dinding agar elemen yang merusak ilusi seminimal mungkin. Keuntungan terbesar dari pengaturan ini adalah bahwa ia membuka saluran interaksi baru sebagai objek permanen, bukan sekadar layar biasa.

  • Masalah utama pada pengaturan saat ini adalah frame rate yang rendah. Saya sudah menggunakan TensorRT dan meningkatkan kecepatan lewat kompresi gambar, tetapi masih banyak ruang untuk perbaikan.

  • Bagi yang tertarik, berikut cara pembuatannya dan bagaimana berkontribusi:

    • Menyediakan kode klien dan server
    • Hosting server menggunakan RunPod
    • Klien berjalan di Raspberry Pi 5
    • Menggunakan layar Pi 10,1 inci
    • Menggunakan pencahayaan inframerah
    • Menggunakan bingkai biasa
    • Menggunakan kamera Pi inframerah
    • Menggunakan puncher untuk melubangi tempat kamera (bor tidak berhasil)
    • Bereksperimen dengan berbagai filter prapemrosesan; prompt sederhana saja tidak cukup. img2img terlihat terlalu realistis tanpa prapemrosesan. Untuk mendapatkan gaya Picasso biru yang terlihat di tulisan ini, digunakan campuran deteksi tepi Canny, pewarnaan biru, dan blur.

Ringkasan GN⁺

  • Seni berbasis AI menunjukkan kemungkinan untuk memisahkan teknologi dan kreativitas serta menghadirkan perspektif baru.
  • Diffusion feed webcam real-time dengan StreamDiffusion menghadirkan emosi dan pengalaman visual baru.
  • Instalasi menggunakan bingkai LCD membuka kemungkinan melampaui layar biasa, sebagai karya seni permanen.
  • Masalah teknis seperti frame rate yang rendah masih menyisakan banyak ruang untuk perbaikan.
  • Proyek dengan fungsi serupa yang direkomendasikan antara lain DeepArt.io dan RunwayML.

Bacaan terkait

1 komentar

 
GN⁺ 2024-10-24
Komentar Hacker News

  • Jika byte JPEG dienkode ke Base64, ukuran payload meningkat sekitar 30% dan menghabiskan siklus CPU di sisi klien dan server. Protokol WebSocket dapat mengirim payload biner, jadi tidak perlu mengubahnya menjadi teks

    • Bisa dipertimbangkan untuk menghapus kompresi JPG lossy dan mengirim byte RGB mentah melalui jaringan
    • StreamDiffusion dapat mencapai frame rate tinggi melalui batching yang ekstensif di pipeline. Keuntungan ini tidak didapat karena klien hanya mengirim satu frame setiap kali lalu menunggu respons
    • Model SDXL Turbo dan Lightning sangat cepat untuk img2img, tetapi resolusinya terbatas pada 512² atau 1024² piksel. Ini bisa dijalankan secara real-time pada GPU konsumen kelas atas

  • Seni adalah cara mengungkap dunia batin, dan keterampilan hanyalah salah satu bagiannya. Ada keraguan terhadap gagasan bahwa kesenjangan keterampilan hanyalah ketidaknyamanan semata

    • Belajar menggambar atau membuat musik diyakini membawa perubahan pada diri seseorang dan mengajarkan pelajaran hidup yang lebih dalam
    • Karya seni besar bukan dibuat oleh seorang jenius; justru kejeniusannya datang secara tak terduga. Menghilangkan kesenjangan keterampilan berarti menghilangkan peluang seperti itu

  • Nilai artistiknya tidak dibahas, tetapi ada bagian yang menarik dari sudut pandang seorang pengoleksi alat

    • Menggunakan puncher untuk melubangi karton pada bingkai agar kamera bisa dipasang. Bor tidak berhasil digunakan
    • Ingin tahu lebih banyak detail atau penjelasan tentang mengapa bor tidak bekerja pada karton

  • Akan lebih keren jika kameranya berada di tempat lain, bukan di bingkai. Melihat cermin artistik terasa agak membosankan

    • Membuat cermin kedua di rumah orang lain, lalu umpan kamera dari satu cermin ditampilkan ke cermin lainnya sehingga keduanya bisa melihat 'pantulan' satu sama lain

  • Selalu menganggap seni sebagai sesuatu yang melestarikan dan menciptakan emosi. Pisang di dinding pun adalah seni, dan musik pop tetaplah seni

    • Penemuan ini jelas merupakan karya seni, tetapi hasil keluarannya tampaknya bukan. Seperti awan yang bisa membentuk berbagai rupa, tetapi tetap merupakan keacakan rata-rata

  • Bertanya apakah pernah mempertimbangkan efek transformasi frame rate tinggi antar-gambar. Ini dapat meningkatkan frame rate efektif dan akan terlihat keren

  • Masalah utama pada pengaturan saat ini adalah frame rate yang rendah. Ini dianggap sebagai sebuah fitur, dan memiliki waktu untuk memproses gambar bukanlah hal yang buruk

    • Frekuensi pembaruan dibuat menjadi 5-15 menit, dan gambar baru ditangkap lalu dihasilkan setiap kali perubahan atau gerakan terdeteksi

  • Memberikan penghargaan untuk cermin paling boros daya. Ditemukan bahwa lukisan tidak stabil terhadap perubahan kecil pada input

  • Bertanya apakah ada cara untuk membekukan beberapa gambar. Beberapa gambar akan terlihat keren jika dipertahankan (misalnya foto profil atau foto layar kunci)