A.I. Yankovic yang Aneh: Penjelajahan Mendalam yang Terkutuk ke Dunia Kloning Suara

 (waxy.org)
1 poin oleh GN⁺ 2023-10-04 | 1 komentar | Bagikan ke WhatsApp
  • Eksperimen untuk mengembalikan lagu parodi Weird Al Yankovic ke suara penyanyi aslinya menunjukkan bahwa kloning suara bukan sekadar teknologi yang hanya mengganti suara, tetapi juga mengungkap pelafalan, intonasi, dan kebiasaan bernyanyi
  • Komunitas cover A.I. tumbuh cepat di sekitar A.I. Hub Discord dan Hugging Face, tempat model, alat, dan tip dibagikan, sambil berjalan berdampingan dengan eksperimen nonkomersial dan area abu-abu hak cipta
  • Bahkan saat memakai model Michael Jackson, Madonna, Kurt Cobain, Lady Gaga, dan Lorde, rentang vokal input dan gaya pengucapan berlebihan khas Weird Al tetap tertinggal, sehingga hasilnya lebih dekat pada bayangan Weird Al daripada penyanyi asli
  • Google Colab dan AICoverGen memungkinkan pengguna tanpa GPU membuat cover A.I., sementara aplikasi seperti Kits AI, Voicify AI, Voiceflip, voicemy.ai, dan covers.ai menurunkan hambatan penggunaan
  • Tekanan hak cipta dari RIAA dan pemblokiran permanen A.I. Hub oleh Discord menunjukkan bahwa kloning suara telah melampaui eksperimen internet yang lucu dan berkembang menjadi benturan hukum antara pengelolaan komunitas dan industri musik

Eksperimen mengembalikan lagu Weird Al ke penyanyi aslinya

  • Berangkat dari premis film Weird: The Al Yankovic Story, dilakukan eksperimen kloning suara A.I. untuk membayangkan seperti apa bunyinya jika lagu parodi Weird Al Yankovic adalah versi asli dan para penyanyi aslinya justru yang meng-cover lagu tersebut
  • Target pertama adalah membayangkan Michael Jackson menyanyikan Weird Al “Eat It”
    • Lagu asli Michael Jackson disetel lebih rendah daripada parodi Weird Al, sementara vokalnya dinyanyikan lebih tinggi, jadi vokal dinaikkan satu oktaf dan keseluruhan lagu diturunkan setengah oktaf agar cocok
    • Bahkan jika artefak diabaikan, hasilnya terdengar seperti Michael Jackson yang meniru Weird Al, bukan Michael Jackson murni, dan pelafalan berlebihan agar punchline terdengar jelas tetap tertinggal
  • Enam model suara A.I. Michael Jackson diuji, tetapi perbedaan hasilnya tidak besar
    • Salah satu model dilatih dengan vokal berdurasi 7 jam selama 300 epochs, tetapi secara umum model yang bagus dianggap tidak memerlukan lebih dari 15 menit audio bersih
    • Untuk eksperimen “Fat”, digunakan model yang dilatih dari lagu Destiny, Off The Wall, dan Thriller
  • Suara dan pelafalan khas Weird Al tidak mudah hilang meski ditimpa suara hasil generasi A.I. lain, sehingga meninggalkan gema ganjil di sepanjang eksperimen

Komunitas cover A.I. dan struktur distribusi model

  • Pusat komunitas lagu cover A.I. adalah Discord A.I. Hub, yang memiliki lebih dari 500 ribu anggota, tempat orang saling bertukar tip, alat, teknik, serta tautan ke lagu asli dan lagu cover
  • Komunitas itu menambahkan ratusan model suara baru setiap hari ke basis data thread Discord
    • Kategori populer tidak hanya mencakup musisi, tetapi juga karakter virtual, karakter anime, YouTuber dan streamer, hingga selebritas
    • Contoh model terbaru mencakup Francoise Hardy, Donald Duck, semua anggota VCHA, Markiplier, Tom Waits, LeBron James, Knuckles, dan Adolf Hitler
  • Diskusi model dan tautannya beredar di Discord, tetapi file modelnya sendiri hampir semuanya diunggah ke Hugging Face
    • Pada Agustus 2023, Hugging Face mengumpulkan 235 juta dolar dalam pendanaan Series D yang melibatkan Google, Amazon, Nvidia, Salesforce, AMD, Intel, IBM, dan Qualcomm, dengan valuasi 4,5 miliar dolar
    • A.I. Hub mewajibkan tautan Hugging Face untuk pendaftaran model, dan AICoverGen juga menganjurkan penggunaan tautan langsung model Hugging Face di UI dan contohnya
  • Beberapa pengguna mengumpulkan ratusan hingga ribuan model buatan orang lain ke dalam repositori raksasa
    • Satu akun memiliki hampir 4.000 model suara, mencakup selebritas, musisi, karakter kartun, dan tokoh YouTube

Tekanan hak cipta dan pemblokiran A.I. Hub

  • RIAA mengetahui keberadaan A.I. Hub dan mempermasalahkan unggahan dataset lagu berhak cipta asli yang dipakai untuk melatih model suara
  • Pada Juni 2023, RIAA meminta Discord menutup A.I. Hub, menghapus tautan file yang melanggar, dan mengungkap identitas para pengunggah
  • Setelah itu, A.I. Hub menerapkan aturan ketat atas tautan dataset berhak cipta, terutama tautan file pemisahan vokal hasil pemrosesan A.I. yang dipakai untuk melatih model suara baru
  • Saat artikel ini dipublikasikan, belum ada kasus yang diketahui di mana RIAA mengambil tindakan terhadap model A.I. itu sendiri atau para pembuat model
  • Dua hari setelah artikel terbit, Discord memblokir permanen A.I. Hub
    • Ernesto Van der Sar dari TorrentFreak adalah yang pertama melaporkannya
    • Menurut laporan yang belum terverifikasi dari server baru, seseorang diduga mengedit postingan dan menambahkan tautan ke konten berhak cipta, sehingga Discord tidak punya banyak pilihan selain memprosesnya lewat DMCA

Hasil cover Weird Al dengan berbagai model penyanyi

  • Untuk eksperimen Madonna menyanyikan “Like A Surgeon”, digunakan model yang dilatih selama 500 epochs dengan 13 menit a cappella berkualitas studio yang bersih dari album 1984 Like a Virgin
    • Rentang vokal Madonna jauh lebih tinggi daripada Weird Al, jadi diterapkan pitch shift satu oktaf
    • Hasilnya memang terdengar seperti vokal perempuan, tetapi hanya samar-samar mirip Madonna era 1980-an
  • Dalam eksperimen Kurt Cobain menyanyikan “Smells Like Nirvana”, beberapa model dicoba, dan model terbaik dibuat oleh YouTuber @Cleberslk
    • Pembuatnya menulis bahwa model itu “dibuat terburu-buru lewat ponsel”
    • Hasilnya bercampur dengan aksen Eropa yang sulit dijelaskan
  • Untuk eksperimen Lady Gaga menyanyikan “Perform This Way”, digunakan model RVC buatan @udrivemecrazy
    • Model tersebut hanya menggunakan 5 menit “a cappella yang sangat bersih”
  • Eksperimen Lorde menyanyikan “Foil” juga dilakukan
    • Lagu ini adalah trek dari album studio ke-14 sekaligus terakhir Weird Al, Mandatory Fun
    • Hasilnya termasuk salah satu yang jarang terasa cukup memuaskan, meski mungkin juga karena penilaian sudah mulai kabur

Alat produksi dan hambatan yang makin rendah

  • Untuk menjalankan inferensi model secara lokal biasanya dibutuhkan PC dengan GPU yang memadai, tetapi Google Colab memungkinkan pengguna tanpa GPU yang kompatibel atau yang kurang nyaman dengan terminal untuk menjalankan workflow A.I. generatif di server
  • Karena Mac tidak memiliki GPU Nvidia yang dibutuhkan untuk inferensi model tersebut, digunakan notebook Colab dari AICoverGen
    • AICoverGen adalah paket yang menangani langkah-langkah pembuatan cover A.I. dari model yang sudah ada dan menyediakan web UI
    • Proses awal memakan waktu beberapa menit, dan tiap lagu selesai dibuat dalam waktu kurang dari satu menit
  • Colab dan WebUI bisa terasa memberatkan bagi pengguna nonteknis, sehingga sejumlah startup menawarkan pembuatan cover vokal A.I. dan pelatihan model dalam bentuk aplikasi yang lebih sederhana
  • Musisi Dallas Dustin Ballard dari kanal There I Ruined It memiliki 3,1 juta pengikut TikTok dan 700 ribu pelanggan YouTube, dan selama 4 bulan terakhir telah bereksperimen dengan kloning suara
    • Contohnya termasuk video The Beach Boys menyanyikan “Hurt” milik Nine Inch Nails dengan melodi “Surfin’ USA”, “Straight Outta Compton” bergaya Hank Williams, dan pengerjaan ulang Red Hot Chili Peppers “Snow (Hey Oh)”
    • Ballard merekam sendiri trek vokal baru sambil meniru sampai batas tertentu rentang dan gaya tiap penyanyi, lalu menerapkan kloning suara A.I.
    • Pendekatan ini lebih cocok untuk pekerjaan yang mengubah lirik, melodi, ritme, dan intonasi cukup jauh dari lagu asli
  • Dengan teknologi saat ini, agar proyek Weird Al terdengar meyakinkan, akan lebih baik jika seseorang terlebih dulu menyanyikan lirik Weird Al dengan menyesuaikan rentang dan gaya penyanyi target parodi, lalu baru menerapkan kloning suara di atasnya
  • Singing Voice Synthesis dan Singing Voice Conversion adalah bidang riset yang berkembang cepat
    • so-vits-svc, yang dipakai Ghostwriter pada April 2023 untuk meniru Drake dan The Weeknd dalam “Heart on My Sleeve”, sudah diarsipkan oleh pemilik repositorinya, dan RVC telah menjadi alat yang banyak digunakan
    • Para peneliti menunjukkan kemungkinan untuk “beautify” timbre vokal dan intonasi, mensintesis vokal baru secara alami dari teks, dan memindahkannya ke gaya artis lain

Parodi gaya dan model yang kosong

  • Weird Al Yankovic dikenal sebagai penyanyi parodi dan pemain akordeon, tetapi juga merupakan komposer orisinal
  • Banyak lagu favoritnya merupakan parodi gaya yang tidak langsung memparodikan lagu tertentu, melainkan me-riff gaya artis lain
  • Versi sintetis Mark Mothersbaugh dari Devo menyanyikan “Dare to Be Stupid”, David Byrne menyanyikan “Dog Eat Dog”, dan James Taylor menyanyikan “Good Old Days” juga ingin didengar, tetapi model A.I. untuk para penyanyi ini tidak tersedia di A.I. Hub
  • Setelah beberapa waktu aktif di A.I. Hub, komunitas itu tampak condong ke kalangan yang lebih muda, dan sejumlah artis lama tidak banyak terlihat dalam model, cover, maupun permintaan
  • Sebagian besar aktivitas di A.I. Hub bersifat nonkomersial
    • Model dibagikan secara gratis
    • Orang-orang terus membagikan cover A.I. yang mereka unggah ke YouTube
    • Namun, di kanal #request-a-model ada juga orang yang menerima bayaran untuk melatih model suara

Benturan etika dan hukum seputar kloning suara

  • Seperti dalam pembahasan A.I. generatif pada umumnya, alat kloning suara juga sulit menghindari persoalan etika dan legalitas
  • Sikap para artis berbeda-beda
    • Holly Herndon bersikap positif terhadap penggunaan suaranya dengan cara seperti ini
    • Grimes mengizinkan penggunaan komersial jika ada pembagian pendapatan
    • Beberapa artis lain tidak menginginkannya, terlepas dari gratis atau tidaknya penggunaan tersebut
  • Pada April 2020, Jay-Z meminta YouTube menurunkan sejumlah parodi audio deepfake yang menggunakan suaranya
    • Saat itu bentuknya adalah parodi yang terang-terangan, tetapi jika tanpa izin Jay-Z dibuat seolah tampil di singel baru atau merekomendasikan produk dalam iklan, hal itu bisa menjadi pelanggaran hak cipta atau hak publisitas
  • Kreator anonim seperti Ghostwriter menggunakan nama dan suara artis terkenal untuk menarik popularitas lagu, sambil membuat musik tanpa sepengetahuan, persetujuan, atau kompensasi bagi artis terkait
    • Untuk “Heart on My Sleeve”, industri musik meminta takedown di semua platform streaming
    • Ghostwriter kemudian mengunggah lagu lain yang memakai versi A.I. dari Travis Scott dan 21 Savage ke X dan TikTok; TikTok cepat menghapusnya, tetapi di X lagu itu tetap ada
  • Industri rekaman kemungkinan besar akan terus menindak penggunaan komersial vokal A.I., tetapi tampaknya akan sulit menghentikan pembuatan vokal A.I. itu sendiri

Bacaan terkait

1 komentar

 
GN⁺ 2023-10-04
Komentar Hacker News

  • Cukup mengejutkan bahwa setiap kali alat seperti ini dijalankan, salinan modelnya dikirim setiap saat. Kalau ini sama saja baik di notebook Google Colab maupun mesin lokal, biaya bandwidth Hugging Face sepertinya bakal luar biasa besar; saya penasaran apakah ada yang saya lewatkan
    Mungkin mereka punya perjanjian peering atau memakai cache dengan sangat agresif

    • Modul Python-nya men-cache unduhan, dan memeriksanya dulu sebelum mengunduh ulang. Meski begitu, kemungkinan benar bahwa biaya bandwidth-nya akan sangat besar. Sepertinya mereka juga mendapat cukup banyak pendanaan VC, bahkan dalam iklim sekarang
    • Saat saya membuat estimasi CDN kustom lebih dari 10 tahun lalu, jalur unlimited 10 gigabit ke atas pun, di harga grosir, kira-kira berada di kisaran $1/mbit/bulan
      Dengan biaya transfer keluar 100TB di AWS, Anda bisa mempertahankan 10Gbit/s terus-menerus 24 jam sehari, dan jika dimanfaatkan 100%, itu lebih dari 3PB per bulan. Bandwidth memang selalu sangat murah sampai terasa tidak masuk akal
    • Hugging Face punya kemitraan strategis dengan AWS
      1. AWS tertinggal jauh dari Azure dan GCP di bidang AI, jadi mereka butuh mitra untuk memperoleh kredibilitas
      2. Dibandingkan GitHub, biaya Hugging Face kemungkinan sangat besar. Meski begitu, kalau AWS terlibat, mereka tampaknya bisa membuat optimisasi untuk menekan biaya bandwidth, dan saya yakin mereka juga sedang mengembangkan semacam penyimpanan diferensial umum untuk model AI
    • Saya jadi berpikir Hugging Face itu sekadar repositori model, seperti GitHub untuk repositori kode. Sepertinya kita juga bisa menyewa sumber daya komputasi CPU dan GPU, tapi tampaknya sebagian besar model dijalankan di tempat lain
    • Akan bagus kalau hal-hal seperti ini bisa diatur agar di-cache di tempat selain drive C:
      Lebih bagus lagi kalau mereka bertanya dulu modelnya mau disimpan di mana

  • Artikel ini hanya membahas sisi musikal dari kloning suara AI, tetapi wilayah yang lebih rumit adalah penggantian pengisi suara biasa di film, game, dan animasi. Contoh: https://www.axios.com/2023/07/24/ai-voice-actors-victoria-at...
    Penyanyi membutuhkan cukup banyak pascaproduksi untuk digantikan, dan mereka juga punya uang serta kekuatan hukum sehingga tidak terlalu terpukul oleh kompetisi, tetapi pengisi suara berbeda. Dengan pengaturan bawaan ElevenLabs atau alternatif open source seperti Bark dan VALL-E X saja, suara mereka sudah bisa dikloning dengan lumayan; mereka sudah bergaji rendah, bekerja kontrak, dan tidak memiliki hak hukum atas suara mereka sendiri. Karya pengisi suara biasanya dimiliki klien, dan klien itu mungkin juga tidak punya alasan kuat untuk aktif melindungi suara tersebut
    Saya ingin menulis posting blog tentang pengaruh budaya pengisi suara Persona 5 dan Genshin Impact, tapi sepertinya sebagian besar pembaca Hacker News tidak akan terlalu tertarik

    • Pada akhirnya, perusahaan mungkin akan mempekerjakan mahasiswa yang butuh beberapa ribu dolar dan sekotak pizza, menyuruh mereka membaca naskah secukupnya, membuat mereka menandatangani kontrak yang menyerahkan semua hak, lalu memakai suara itu selamanya
      Secara lebih terselubung, mereka juga bisa menyediakan asisten suara dan memasukkan ke syarat layanan bahwa “kami dapat menggunakan salinan suara Anda untuk tujuan apa pun”. Pengisi suara yang ada akan kehilangan pekerjaan, dan yang tersisa hanya kelompok kecil yang menginginkan suara manusia sungguhan. Untuk sebagian proyek hal itu tidak penting, jadi sepertinya ini akan cukup kacau
    • HN bukan satu-satunya tempat untuk menulis. Di sini tampaknya empati terhadap masalah pekerjaan seperti ini rendah, tetapi tulisan nonarus utama juga kadang masuk halaman depan
      Bagaimanapun, saya ingin membacanya
    • Suara memang bukan objek hak cipta, tetapi meniru belum tentu legal. Ada kasus terkenal Midler v. Ford, jadi sulit mengatakan situasinya benar-benar jelas
    • Yang menarik, banyak Vocaloid, terutama Hatsune Miku, berasal dari sampel pengisi suara, bukan penyanyi
      Para penyanyi tidak ingin direplikasi oleh perangkat lunak, tetapi suara pengisi suara seakan diperlakukan sebagai sesuatu yang boleh dipakai sesuka hati
    • Suara AI memang lebih murah, tetapi sekaligus aktingnya lebih membosankan dan biasa-biasa saja. Tampaknya tidak ada kemajuan apa pun menuju AI kreatif yang membuat karya unik yang bagus
      Pasar ini kemungkinan akan terbuka bagi pelaku usaha kecil yang tidak mampu mempekerjakan pengisi suara profesional. Menurut saya, AI membuka pasar baru, bukan benar-benar membunuh pekerjaan orang-orang yang memang berbakat

  • Wah, saya baru sadar sekarang siapa pun bisa mempertahankan lirik Weird Al apa adanya dan membuat ulang dengan suara penyanyi aslinya. Sekitar jam makan siang nanti mungkin kita sudah bisa mendengar Michael Jackson menyanyikan Just Eat It
    Saya terus terkejut melihat bagaimana teknologi AI baru bisa digunakan. Tentu saja, ini kemungkinan ilegal menurut hukum hak cipta di sebagian besar negara

    • Weird Al juga punya I Think I'm a Clone Now, yang sepertinya sangat cocok untuk pertunjukan suara kloning AI. Lagu aslinya adalah I Think We're Alone Now dari Tommy James and the Shondells, tetapi Weird Al tampaknya memparodikan cover Tiffany dari tahun 1980-an
      Weird Al sendiri meminta izin, tetapi sudah cukup mapan bahwa parodi bukan pelanggaran hak cipta. Jika diajukan oleh pengacara yang bagus, seharusnya masih ada ruang untuk pertunjukan parodi suara AI
    • Saya tidak mengerti kenapa itu mengejutkan. Kedengarannya cuma bodoh dan buang-buang waktu

  • Dari semua pemanfaatan teknologi ini yang pernah saya lihat sejauh ini, favorit saya adalah The Beach Boys menyanyikan Hurt. Untuk pertama kalinya saya nyaris tidak merasakan artefak secara serius, dan meski kombinasi ini semestinya tidak masuk akal, hasilnya sangat cocok
    Coba dengarkan: https://youtu.be/gmNSFqyg_Z8

    • Entah apa yang saya harapkan, tapi itu bukan Hurt; lebih mirip Surfin' USA dengan lirik Hurt, dan suaranya terdengar sangat bergetar serta kasar
      Namun saya penasaran apakah sebentar lagi ada AI yang bisa menyintesis gaya Beach Boys di atas chord dan melodi asli lagu NIN, lalu menambahkan sedikit nuansa tragis ala Johnny Cash
    • Where Is My Mind yang dinyanyikan Sinatra: https://youtu.be/BO4cKQ8DxYU?si=uzF_TdrQoZOAOlEc
    • Akun ini termasuk jajaran teratas di antara orang-orang yang membuat campuran musik aneh. Karya musik deepfake terbarunya luar biasa bagus
      Jika semua hak artis, komposer, dan pihak lain sudah dibereskan, hal seperti ini bisa dianggap sebagai penggunaan AI yang “dapat diterima”. Memang selalu lebih seru kalau orang-orang berbakat sendiri yang bercanda, tapi kalau ada album mashup aneh seperti ini, saya pasti akan mendengarkannya
    • Tekstur rekaman yang kasar menutupi banyak potensi masalah. Meski begitu, melihat upaya ini tetap mempertahankan tempo dan pelafalan Beach Boys, rasanya teknik yang sama akan jauh lebih meyakinkan jika dipakai untuk membuat versi Michael Jackson meng-cover Eat It

  • Sampel suaranya tidak terdengar seperti Michael Jackson maupun Weird Al. Upaya yang bagus, tetapi kemungkinan besar peniru suara profesional bisa melakukan salah satunya dengan lebih baik

    • Kedengarannya seperti Weird Al berpura-pura menjadi Michael Jackson, lalu Michael Jackson itu berpura-pura lagi menjadi Weird Al
    • Peniru Michael Jackson terbaik di kota berpenduduk 50 ribu orang pun sepertinya bisa lebih baik dari ini. Ini… kurang bagus
    • Saya paham maksudnya. Terasa lebih menonjol di sisi Michael, tapi memang ada kesan seperti itu. Bagian yang terdengar aneh sepertinya sebagian karena koreksi pitch

  • Cover lagu AI itu luar biasa. Mulai dari Goku menyanyikan Don't Stop Me Now sampai para pemeran SpongeBob menyanyikan Ocean Man

  • Saya tidak tahu soal ini. “Pusat komunitas lagu cover AI adalah Discord bernama A.I. Hub dengan lebih dari 500 ribu anggota, tempat para anggota saling bertukar tips, alat, teknik, serta tautan ke lagu asli dan cover”

    • Saya juga tidak tahu. Inilah salah satu bagian aneh dari internet
      Kalau membayangkan 500 ribu orang berkumpul di jalan, kita pasti menyadarinya, tetapi secara online, komunitas raksasa seperti ini bisa saja ada tanpa kita ketahui sama sekali sampai kebetulan menemukannya atau ada yang memberi tahu
    • Rasanya saya perlahan mulai menerima bahwa para penggemar teknologi generasi sekarang, terutama mereka yang punya waktu berjam-jam untuk menyesuaikan model dan membagikan hasilnya, jauh lebih menyukai Discord daripada komunitas bergaya forum Web 2.0 seperti ini
      Bahkan Reddit pun kalah populer di kalangan Gen-Z dibanding Discord atau TikTok, dan kalau membaca /r/LocalLLMs, langsung terasa bahwa cukup banyak anggota komunitas ini masih di bawah umur. Untuk jelasnya, menurut saya ini hal yang baik
      Ada generasi yang menyukai mailing list, ada generasi yang menyukai IRC dan BBS, dan generasi saya menyukai forum serta utas komentar panjang. Naif kalau mengira cara yang kita pakai sekarang akan bertahan selamanya
      Kritik terhadap Discord, terutama soal kemampuan pencarian dan kemudahan ditemukan, sangat nyata, tetapi pada titik ini rasanya dadu sudah dilempar. Anak muda sudah menentukan pilihan
    • Saya sempat melihat-lihat beberapa lama dan secara umum mendapat kesan bahwa kualitasnya rendah, jadi mungkin itu sebabnya komunitas ini relatif kurang dikenal
      Namun saya tidak tahu apakah itu batasan teknologinya, atau hanya karena “materi sumbernya terlalu tidak menarik”. Banyak sekali yang seperti “lagu klasik dinyanyikan rapper populer masa kini”, dan sebagai penggemar hip-hop lama, menurut saya hampir tidak ada hal menarik pada vokal artis hip-hop populer saat ini

  • Ini artikel terkait dari setahun lalu bahwa suara Darth Vader ke depannya akan dibuat dengan AI
    https://arstechnica.com/information-technology/2022/09/james...

  • Kalau soal “meniru suara selebritas”, coba dengarkan Light My Fire di YouTube Music
    https://music.youtube.com/watch?v=lN3v3EfA6_A&si=_hcG3Wjakxd...