- Claude Fable 5 dan GPT-5.6 Sol diberi lagu dan lirik yang sama, anggaran $25/$100, pencarian web, dan ffmpeg, lalu ditugaskan mulai dari riset hingga pembuatan dan penyuntingan video; hasilnya, keempat percobaan secara mandiri menyelesaikan video berdurasi penuh yang menggabungkan lagu asli
- Model generatif dan metode produksi juga dipilih sendiri; dari empat percobaan, tiga menggunakan text-to-video, sementara hanya eksekusi Sol dengan $25 yang membuat pipeline dengan terlebih dahulu menghasilkan gambar diam lalu menganimasikannya
- Biaya generasi pada eksekusi $100 hanya mencapai Sol $36,57 dan Fable $48,60; jika memasukkan biaya token LLM, totalnya masing-masing menjadi $39,82 dan $73,65, sehingga Fable selesai lebih cepat tetapi biayanya lebih tinggi
- Di semua hasil, masih kurang konsistensi karakter dan cerita, sinkronisasi tempo antara gerakan dalam video dan musik, serta peninjauan mandiri untuk menilai ulang dan menyunting klip yang dihasilkan; ada juga kecenderungan memvisualisasikan lirik terlalu harfiah
- Eksekusi Sol dengan $25 menunjukkan penyuntingan paling kreatif dengan memanfaatkan overlay teks dan efek gambar diam, tetapi secara umum masih sebatas menyambung klip generatif secara sederhana dan tidak memanfaatkan anggaran $100 serta Replicate secara memadai
Eksperimen pembuatan video musik otonom
- Sebuah agent harness kecil dirancang dengan memberikan lagu, anggaran dolar tetap, dan alat, lalu memintanya menjalankan seluruh pembuatan video musik secara otonom
- Meneliti model dan API generasi video yang akan digunakan
- Menghasilkan klip dan memeriksanya sendiri
- Menyunting dengan ffmpeg untuk merakit video akhir
- Untuk melihat perbedaan cara tiap model memakai alat, eksperimen disusun sebagai tugas jangka panjang terbuka di mana tiap model menentukan sendiri objek riset, konten yang dihasilkan, dan metode penyuntingan
- Semua pemanggilan alat dicatat agar proses kerja tiap model dapat diperiksa; seluruh harness dipublikasikan di music-video-arena
- Claude Fable 5 dan GPT-5.6 Sol masing-masing dijalankan dengan anggaran $25 dan $100, sehingga total ada empat percobaan untuk dibandingkan
- Semua percobaan diberi input yang sama: “Uptown Funk” oleh Bruno Mars dan Mark Ronson, deskripsi teks singkat, serta transkrip lirik dengan timestamp
6 alat dan batasan anggaran
- Setiap model menggunakan 6 alat berikut dalam loop pemanggilan alat yang otonom
plan: menyusun pemikiran tanpa biaya atau aksi nyataweb_search: meneliti model dan API generasi, serta mencari informasi video musik bila perluget_budget: memeriksa sisa anggarangenerate_image,generate_video: satu-satunya alat yang memakai anggaran; model memilih sendiri model FAL atau Replicate serta parameternyarun_command: shell lokal untuk menjalankan analisis audio, pemotongan dan penyambungan klip, serta penggabungan video akhir dengan ffmpeg dan ffprobe
- Jika anggaran menjadi 0, permintaan generasi berbayar ditolak, tetapi penyuntingan lanjutan masih bisa dilakukan
- Selain pesan model dan pemanggilan alat, semua penagihan biaya dan error juga dicatat
Hasil empat percobaan
- Semua percobaan selesai sendiri tanpa terkena batas langkah atau batas waktu, dan menghasilkan video valid berdurasi penuh yang menggabungkan lagu asli
- Waktu eksekusi dan hasil generasi adalah sebagai berikut
- Fable 5 · $25: 39 menit 10 detik, 54 klip, 1 kegagalan, $24,30, 1280×720
- Sol · $25: 42 menit 52 detik, 46 klip, 10 kegagalan, $23,18, 1280×720
- Sol · $100: 49 menit 39 detik, 70 klip, 2 kegagalan, $36,57, 1280×720
- Fable 5 · $100: 38 menit 56 detik, 80 klip, tanpa kegagalan, $48,60, 1920×1080
- Biaya generasi hanya merujuk pada biaya terukur dari FAL, dan tidak mencakup biaya token untuk menjalankan model itu sendiri
- Pada eksekusi $25, kedua model hampir menghabiskan anggaran, tetapi pada eksekusi $100 Sol hanya memakai $36,57 dan Fable $48,60
- Saat anggaran bertambah, durasi video yang dihasilkan juga meningkat, dengan jumlah klip unik per eksekusi 46–80 klip
- Waktu wall-clock mencakup waktu retry model dan waktu menunggu di antrean penyedia
Pipeline generasi tiap model
- Saat pemilihan alat diserahkan kepada model, tiga dari empat percobaan hanya menggunakan text-to-video, dan hanya eksekusi Sol $25 yang menyusun pipeline image-to-video
- Fable 5 · $25
- Memilih Wan 2.5 t2v tanpa model gambar
- Ini adalah metode text-to-video dengan biaya $0,05 per detik video keluaran
- Sol · $25
- Menghasilkan keyframe dengan FLUX schnell seharga $0,003 per gambar
- Menganimasikan gambar diam dengan Wan 2.2-5b i2v seharga $0,10 per detik
- Sol · $100
- Mencampur tiga model video dalam satu eksekusi tanpa model gambar: Wan 2.5, Veo 3.1 Lite, Hailuo 2.3 Standard
- Wan 2.5 berharga $0,05 per detik, Veo 3.1 Lite $0,10 per detik, dan Hailuo 2.3 Standard $0,28 untuk klip sekitar 6 detik
- Fable 5 · $100
- Hanya menggunakan Seedance 1.0 Pro t2v tanpa model gambar
- Dengan harga berbasis token sekitar $0,62 per klip 1080p berdurasi 5 detik, setara sekitar $0,12 per detik
- Meski kunci untuk kedua layanan diberikan, keempat percobaan hanya menggunakan FAL dan tidak mengakses Replicate
Pemanggilan alat dan error
- Rekap pemanggilan alat mencakup permintaan yang berhasil maupun upaya generasi yang gagal
- Rencana lengkap serta catatan pemanggilan dan perintah untuk tiap eksekusi dapat dilihat pada transkrip berikut
- Pemanggilan yang gagal terutama terjadi karena error jaringan sementara dengan penyedia
- Permintaan yang gagal tidak dikenai biaya, tetapi proses retry menghabiskan langkah kerja
Penggunaan token dan total biaya aktual
- Penggunaan token per eksekusi adalah sebagai berikut
- Fable 5 · $25: 1.476.900 input, 44.341 output, tanpa input cache
- Sol · $25: 2.956.270 input, 33.220 output, 9.656 reasoning, 2.558.029 input cache
- Sol · $100: 2.097.572 input, 31.715 output, 12.330 reasoning, 1.819.050 input cache
- Fable 5 · $100: 2.264.610 input, 48.029 output, tanpa input cache
- Harga token Fable 5 adalah $10/$50 per 1 juta token input/output, sedangkan Sol masing-masing $5/$30
- Total biaya per eksekusi setelah menggabungkan biaya generasi dan biaya token LLM adalah sebagai berikut
- Fable 5 · $25: generasi $24,30 + LLM $16,99 = $41,29
- Sol · $25: generasi $23,18 + LLM $4,27 = $27,45
- Sol · $100: generasi $36,57 + LLM $3,25 = $39,82
- Fable 5 · $100: generasi $48,60 + LLM $25,05 = $73,65
- Biaya token Fable saja berada di kisaran $16,99–$25,05, sekitar 30–40% dari total biaya
- Meski skala tokennya mirip, biaya token Sol tetap sekitar $3–$4
- Biaya generasi adalah estimasi terbaik berdasarkan daftar harga masing-masing model
Keterbatasan yang terlihat pada hasil
- Di keempat video, penampilan karakter yang muncul berulang berubah dari adegan ke adegan, dan tidak mampu mempertahankan cerita yang konsisten dari awal hingga akhir
- Ada kecenderungan menafsirkan lirik terlalu harfiah
- Pada lirik “Make a dragon wanna retire, man”, naga sungguhan muncul di layar
- Di beberapa adegan ini menarik, tetapi terasa canggung ketika pola yang sama berulang
- Semua percobaan mendeteksi beat dengan ffmpeg dan menyesuaikan cut dengan ketukan, tetapi gerakan di dalam klip seperti tarian dan pergerakan kamera hampir tidak selaras dengan tempo lagu
- Pada adegan “gotta kiss myself I’m so pretty”, gerakan ciuman tokoh utama terlalu lambat
- Eksekusi Sol $25 menggunakan teknik penyuntingan yang tidak terlihat pada percobaan lain, seperti menambahkan overlay teks dan menggerakkan gambar diam dengan efek video
- Percobaan lainnya sebagian besar hanya menyambung klip generatif secara sederhana, dan hanya eksekusi Sol $100 yang mencoba beberapa model video sekaligus, berbeda dari Fable
Keterbatasan peninjauan mandiri dan pemanfaatan anggaran
- Setelah menghasilkan klip, menyambungkannya, dan menggabungkan audio, hampir tidak ada iterasi penyuntingan seperti memotong ulang atau menambahkan efek
- Kualitas klip yang dihasilkan tidak diperiksa secara serius, dan hasil Sol $100 juga memuat klip AI berkualitas rendah
- Fable 5 secara kebetulan memilih model yang menghasilkan output lebih konsisten
- Fable selesai lebih cepat daripada Sol, tetapi biaya per eksekusinya lebih tinggi dan juga mencatat biaya keseluruhan tertinggi
- Secara subjektif, video Fable $100 sedikit lebih disukai, tetapi keempat hasil belum mencapai tingkat yang luar biasa
- Bahkan dengan anggaran $100, kedua model tidak memakai jumlah yang mendekati batas atas, dan jumlah langkah kerjanya juga tidak banyak
- Dengan sisa anggaran, mereka bisa terlebih dahulu menghasilkan gambar karakter yang konsisten lalu menganimasikannya, tetapi tidak ada model yang memilih cara ini
- Untuk pekerjaan yang subjektif dan berpusat pada gaya, model kelas terdepan pun masih punya banyak ruang untuk perbaikan
Jalankan sendiri
- Di music-video-arena, Anda dapat menentukan lagu dan anggaran yang diinginkan serta mengganti model pembanding untuk menjalankan eksperimen yang sama
- Proyek ini open source dan menerima issue, PR, serta masukan terkait konfigurasi eksperimen
1 komentar
Opini Hacker News
Ini teknologi yang mengesankan dibanding beberapa tahun lalu, tetapi hasilnya sama sekali tidak punya nilai artistik. Rasanya seperti lendir abu-abu hasil merata-ratakan semua konsep yang terasosiasi dari lagunya; kreator yang punya bakat dan visi bisa membuat karya yang lebih menarik dan menyenangkan dalam setengah hari tanpa anggaran sekalipun
Misalnya, mereka bisa mengarahkan adegan dan waktunya secara rinci: dua tokoh dari adegan sebelumnya, mengenakan busana imam agung Kerajaan Pertengahan Mesir dengan wajah kucing, menari mengikuti musik di punggung gajah yang melaju di atas sungai. AI adalah alat, jadi kalau hanya berkata “buatkan video musik berlatar Mesir untuk lagu ini”, wajar saja hasilnya jadi asal-asalan
Pasti akan ada orang yang menggunakan AI secara artistik dengan sangat baik, tetapi saya khawatir jika konten biasa yang dibuat otomatis membanjir dalam jumlah luar biasa besar, karya yang menarik akan makin sulit ditemukan, terlepas dari apakah AI digunakan atau tidak. Semoga arus ini mengembalikan orang-orang ke komunitas lokal offline dan seni fisik
Orang yang benar-benar punya kemampuan dan bakat bisa membuat karya luar biasa dengan murah memakai alat seperti ini, dan teknologinya masih jauh dari puncaknya
Masalahnya adalah membandingkan AI bukan dengan orang rata-rata di bidang itu, melainkan dengan seorang genius yang hanya muncul sekali seumur hidup
Entah karena prompt atau cara implementasinya, hasilnya terlalu menyalin lirik secara harfiah. Video musik yang hebat biasanya mengikuti tema alih-alih lirik itu sendiri, membangun alur naratif, lalu mulai secara ambigu dan mengungkap sesuatu melalui perangkat sastra
Founddari Amber Run layak dibandingkan antara lirik, video, dan perkembangan narasi videonya: https://www.youtube.com/watch?v=Yj6V_a1-EUARiptidedari Vance Joy adalah contoh yang bagus: https://www.youtube.com/watch?v=uJ_1HMAGb4kGenghis Khanjuga layak dijadikan rujukan: https://youtu.be/P_SlAzsXa7EKhusus yang pertama, sebenarnya itu ungkapan yang cukup terang-terangan merujuk pada kokain, sehingga literalisme videonya yang konyol berkontras sangat pas dengan lirik yang cerdas dan orisinal. Kalau liriknya sesederhana level videonya, mungkin bunyinya kira-kira “sekarang ayo kita semua menghirup kokain!”
AI sedang meruntuhkan struktur ekonomi yang selama ini menopang kelas menengah seniman dalam skala yang cukup besar. Banyak seniman dibayar lebih karena kualitas estetika daripada nilai artistik, dan meski itu bukan pekerjaan yang paling memuaskan secara kreatif, hal tersebut memungkinkan mereka mencari nafkah, mengasah kemampuan, dan mengejar tujuan kreatif yang sesungguhnya di sampingnya
Jika menjalankan perusahaan dengan anggaran, sekalipun bisa mengerjakan semuanya sendiri, orang tidak akan membuang waktu membuat karya seni dengan Claude. Mereka yang dulu mendapat bayaran tinggi untuk pekerjaan yang mudah digantikan AI akan tersingkir, tetapi sejak awal pasar berbayaran tinggi seperti itu tidak terlalu besar bagi seniman kelas menengah
Makin banyak pula orang yang dengan bangga mengusung akselerasionisme, yaitu membuat segala sesuatu seburuk mungkin demi memperburuk dunia dan menyeretnya turun ke level mereka sendiri; ini pada dasarnya menjadikan perilaku kepiting dalam ember sebagai filsafat politik, ekonomi, dan ketenagakerjaan
Orang-orang yang benar-benar kreatif akan memanfaatkan AI bukan sebagai jalan pintas, melainkan sebagai penguat kemampuan, dan sejak saat itulah semuanya akan menjadi menarik. Di perangkat lunak, sudah ada orang yang berkat LLM bisa mewujudkan hal-hal yang sebelumnya tidak bisa mereka buat karena kemampuan coding yang kurang, dan jika sikap yang sama menyebar di kalangan seniman, akan muncul karya AI yang layak disebut seni sejati
Musik yang bagus memang sudah harus dicari di tempat lain, dan 90% musik pop bahkan sebelum AI pun sudah berupa ampas produksi massal. Wawancara lama Frank Zappa tentang kemunduran industri musik juga masih relevan: https://www.youtube.com/watch?v=KZazEM8cgt0
Ini video yang mengerikan, seperti musik Suno: terlihat meyakinkan hanya saat dikonsumsi sekilas, tetapi begitu diperhatikan, segala macam cacatnya langsung tampak
Uptown Funk, hit besar dari 2014: https://www.youtube.com/watch?v=OPf0YbXqDm0Tentu saja saya setuju videonya mengerikan
https://www.cbc.ca/news/canada/ai-baby-slop-9.7166873
https://www.nytimes.com/2026/02/26/us/ai-videos-children-you...
Untuk orang dewasa, AI tampaknya juga bisa menghasilkan video tanpa batas seperti
OW, My balls!dari filmIdiocracyhttps://substackcdn.com/image/fetch/$s_!Dh4l!,f_auto,q_auto:...
https://media.licdn.com/dms/image/v2/D4E22AQEqLntg_DW7vg/fee...
higgsfield aiyang khusus di bidang videoMenarik bahwa hasilnya bisa seburuk ini jika tidak memakai model video dan penyutradaraan langsung. Dua klip sebelumnya dibuat dengan Kling yang saya gunakan sendiri, dan saya tidak berafiliasi dengannya: https://xcancel.com/PJaccetturo/status/2076312902685085815#m
Tentu saja itu bukan hasil sekali generate, dan saya menyelesaikannya dengan editor video, tetapi fidelitas seperti ini sangat mungkin dicapai
Untung para kreator mengakui bahwa “tidak ada satu pun video musiknya yang bagus.” Saya juga penasaran berapa banyak waktu yang dibutuhkan selain token
Kalau levelnya adalah menghabiskan 25 dolar dan 45 menit untuk mendapatkan video yang pada dasarnya tidak bisa ditonton, sepertinya para pembuat film indie belum perlu khawatir akan tergantikan
Secara filosofis, saya melihat seni pada dasarnya bersifat manusiawi. Makna dan dampaknya berasal bukan dari tampilan yang keren, melainkan dari kehidupan sang seniman, konteks karya, usaha dan penderitaan, serta manusia yang membuat sesuatu yang spesifik dari selera dan situasi pribadinya
AI bisa dipakai sebagai alat untuk membuat seni, tetapi ketika seseorang memasukkan prompt selama 1–2 menit, sedikit memperbaikinya, lalu menjualnya sebagai seni miliknya sendiri, itu hanya konten yang dibuat dengan mudah. Bahkan tanpa AI, konten sudah mengalir lebih cepat daripada kemampuan kita untuk menontonnya, dan seni yang bermakna berbeda dari hasil generatif yang diproduksi massal
Karena seni bersifat subjektif, seseorang mungkin saja menemukan makna dalam hasil buatan AI, dan jika cara penyajiannya orisinal serta menyentuh secara mendalam, itu bisa menjadi seni. Namun sampah ini bukan termasuk itu, dan sekalipun hanya uji fungsi sederhana, banyak tempat akan mengadopsinya karena murah dan cukup bagus, jadi kita harus melawan satu lagi pemangkasan biaya yang tidak membuat dunia menjadi lebih baik
Seperti ungkapan “seni adalah apa pun yang bisa lolos tanpa ketahuan,” perdebatan tentang apa itu seni bukanlah hal baru, dan fakta bahwa teknologi seperti ini memancing orang untuk memperdebatkan sudut pandang masing-masing bisa jadi merupakan cara budaya terbentuk. Pertanyaan apakah sesuatu menjadi seni karena apa yang dilakukan penciptanya, atau karena cara penikmat menerimanya, juga menarik
Layak juga dipikirkan: jika Anda tersentuh oleh sebuah karya yang tidak diketahui asal-usulnya, lalu belakangan tahu bahwa karya itu 100% buatan AI, apakah karya itu tetap seni?
Jika memakai standar setinggi itu, sebagian besar video musik buatan manusia pun bukan seni: https://en.wikipedia.org/wiki/Potboiler
Ada orang yang mungkin melihat Centre Pompidou penuh dengan karya jenius, tetapi saya tidak terlalu menikmatinya, dan karya AI punya masalah yang persis sama
Buku adalah buku dan bisa bagus atau buruk, tetapi fakta bahwa Goethe, Paman Clara, LLM, atau seekor anjing yang menulisnya bukanlah bagian dari karya itu sendiri. Sekalipun manusia mudah tertarik pada latar belakang cerita yang bagus, itu semestinya tidak penting dalam menilai seni
Semua model menangani desain kostum dengan sangat baik; saya penasaran apakah itu karena mereka dilatih dengan banyak data fesyen, mengingat pemanfaatannya di industri fesyen
Produksi film pada dasarnya adalah proses perbaikan berulang, dan di dunia nyata pun video musik tidak diselesaikan dalam sekali jalan. Agen perlu meninjau hasil di setiap tahap dan melakukan revisi berulang, jadi masih ada banyak ruang untuk perbaikan
Anggaran video musik
Uptown Funkaslinya mungkin sekitar 100 ribu dolar, dan bahkan film indie tradisional pun mahal karena biaya peralatan, tenaga kerja, dan lokasi. Di industri mana pun, pengurangan biaya hingga 1/100 adalah perubahan yang sangat besarBagian saat lirik “don't believe me just watch” ditampilkan secara harfiah sebagai lengan yang memakai jam tangan benar-benar lucu. Rasanya seperti permainan menebak kata lewat gerakan tubuh
retiredEksperimen yang menarik dan hasilnya juga mengejutkan, tetapi kalau Anda musisi, saya berani menjamin bahwa bersama teman-teman Anda bisa membuat video musik yang jauh lebih keren hanya dengan 25 dolar dan 45 menit
OK Go meraih sukses besar di YouTube awal lewat
Here It Goes Again: https://www.youtube.com/watch?v=dTAAsCNK7RANamun kasus seperti ini pengecualian, dan kebanyakan orang tidak punya kemampuan menghasilkan sesuatu yang kreatif dengan anggaran ketat. Bukan berarti hasil AI ini lebih baik; justru benar-benar mengerikan