AniSora: Model pembuat video animasi open-source

• AniSora adalah model AI pembuat video open-source yang dikembangkan oleh Bilibili dan mendukung beragam gaya seperti animasi, manga, dan VTuber
• Video animasi beresolusi tinggi dan berkualitas tinggi dapat dibuat dengan mudah dari gambar atau prompt teks
• Berdasarkan algoritme yang dikhususkan untuk manga dan animasi serta dataset berskala besar, model ini menghadirkan gerakan realistis dan hasil yang ekspresif
• Keunggulannya ada pada antarmuka intuitif dan lingkungan kolaborasi berbasis komunitas yang memungkinkan bahkan nonprofesional pun mudah memanfaatkannya
• Cocok untuk beragam kasus penggunaan seperti episode pendek, PV, VTuber, dan concept art

---

Apa itu AniSora

• AniSora adalah model pembuat video animasi open-source paling kuat yang dikembangkan oleh Bilibili
• Hanya dengan satu klik, pengguna dapat membuat video dalam berbagai gaya seperti serial animasi, animasi Tiongkok, adaptasi manga, VTuber, dan PV animasi
• Hanya dengan gambar atau prompt teks, adegan statis dapat diwujudkan menjadi animasi yang dinamis dan detail
• Riset dasar AniSora didasarkan pada makalah teknologi terbaru yang diterima di IJCAI’25

Contoh AniSora

• Video contoh yang dibuat dengan AniSora menunjukkan kemampuan untuk mengubah gambar diam menjadi animasi bergerak secara alami
  • Contoh: rambut yang tertiup angin di dalam mobil, beberapa gadis mengangkat tangan sambil menari, motion blur gerakan karakter yang berlari sangat cepat, dan sebagainya
• Model ini mewujudkan secara realistis berbagai penyutradaraan yang dibutuhkan dalam manga dan animasi, seperti ekspresi emosi, dinamika gerak, dan transisi adegan

Keunggulan utama AniSora

Algoritme yang dioptimalkan untuk gaya animasi/manga

• Menggunakan struktur model khusus yang dilatih dengan dataset animasi dan manga berskala besar
• Dapat mereproduksi gaya visual dan penyutradaraan yang khas dengan akurat
• Memungkinkan output berkualitas tinggi yang mencerminkan karya asli manga terbaru hingga tren terkini

Antarmuka yang intuitif

• Dirancang agar bahkan pengguna yang tidak terbiasa dengan teknologi tetap bisa membuat video secara langsung
• Dengan satu klik, siapa pun dapat dengan mudah merasakan pengalaman membuat video manga dan VTuber

Dukungan video animasi berkualitas tinggi

• AniSora menyediakan output video 1080p berkualitas tinggi secara default
• Karena dioptimalkan untuk berbagai platform, video dapat dimanfaatkan di berbagai kanal seperti proyek, SNS, dan PV

Ringkasan FAQ AniSora

Apa itu AniSora?

• AniSora adalah model pembuat video animasi open-source yang dirilis Bilibili sebagai bagian dari Project Index-AniSora
• Hanya dengan gambar atau prompt teks, model ini dapat secara otomatis membuat video bergaya animasi beresolusi tinggi
• Model ini mencerminkan hasil riset terbaru yang menitikberatkan pada konsistensi gerakan dan daya ekspresi

Perbedaannya dengan alat pembuat video AI lain

• AniSora berfokus pada performa yang dioptimalkan untuk gaya animasi dan manga
• Sebagai proyek open-source berbasis komunitas dengan keahlian Bilibili, model ini dioptimalkan untuk pembuatan video bertujuan khusus seperti serial anime, adaptasi manga, dan VTuber

Apakah mendukung video & audio

• Saat ini AniSora adalah model yang berfokus pada pembuatan video
• Untuk ketersediaan fitur tambahan seperti sintesis audio, perlu merujuk ke dokumentasi terbaru

Apakah cocok untuk kreator animasi/manga?

• AniSora dioptimalkan untuk mewujudkan konsistensi karakter dan gerakan yang ekspresif, sehingga menjadi alat yang ideal bagi kreator, terutama di bidang animasi, PV, manga, dan VTuber

Kasus penggunaan utama

• Dapat digunakan secara luas untuk animasi pendek, video SNS, PV, animasi panel manga, VTuber, concept art, storyboard, dan lainnya

Kualitas dan durasi video

• AniSora unggul dalam pembuatan video pendek beresolusi tinggi (1080p)
• Umumnya paling cocok untuk klip pendek, dan untuk batasan yang lebih spesifik, informasi terbaru dapat dilihat di dokumentasi resmi

Cara mengontrol gaya dan gerakan

• Melalui input gambar atau prompt teks, pengguna dapat mengarahkan gaya visual dan gerakan yang diinginkan
• Berdasarkan data bidang animasi, model ini mendukung kontrol tingkat lanjut seperti kustomisasi gerakan, konsistensi karakter, dan penerapan gaya detail
• Cakupan operasional dapat berbeda tergantung versi atau antarmukanya

Kesimpulan

• AniSora adalah model AI pembuat video open-source berperforma tinggi yang dikhususkan untuk produksi video animasi, manga, dan VTuber
• Keunggulan utamanya adalah kemampuan reproduksi gaya yang berbeda, kemudahan penggunaan yang intuitif, dan pembuatan video berkualitas tinggi
• Dengan menitikberatkan pada budaya open-source komunitas dan dukungan bagi kreator, nilainya sangat tinggi untuk dimanfaatkan baik di bidang animasi Jepang maupun animasi Tiongkok

[GN⁺]

Komentar Hacker News

• Rasanya beberapa hasilnya jelas menunjukkan jejak pelatihan dari webtoon, manga, mungkin juga pixiv, dan semacamnya. Buktinya mudah ditemukan pada bangunan CG atau berbagai artefak buatan lainnya. Pada akhirnya, kesimpulannya tetap bahwa model ini dilatih dengan materi berhak cipta. Karena seni bukanlah wilayah yang bisa dihasilkan secara sintetis seperti teks, seniman manusia akan tetap menempati posisi penting selamanya, atau hasilnya hanya akan terus memunculkan artefak aneh. Jadi saya jadi berpikir apakah ke depannya artis akan diturunkan derajatnya menjadi semacam tenaga kerja untuk pelatihan "AI". Tapi di sisi lain, kalau strukturnya adalah orang-orang menggambar hal yang mereka sukai lalu itu dipakai untuk melatih model, rasanya juga tidak terlalu buruk. Saya sendiri sangat pro-AI dalam hal hak cipta dan merek dagang, tetapi saya tetap penasaran apa yang akan terjadi pada banyak orang yang selama ini memberi kita hiburan. Apakah kualitasnya akan terus naik, atau justru gaya-gaya yang menantang akan hilang karena dianggap 'terlalu sulit untuk AI', dan semuanya jadi terasa mirip satu sama lain. Ini terasa berbeda dari PC atau mesin yang menggantikan manusia; rasanya seperti kita sudah sampai di semacam titik akhir.

  • Saya ikut merasa iba pada ilustrator dan seniman. Tapi menurut saya tidak ada perbedaan besar apakah data pelatihannya berupa novel, gambar, lagu, kode, atau bahkan dokumen hukum. Ibu saya juga mengalami perubahan dari penerjemah era mesin tik ke lingkungan korpus-database terjemahan mesin, dan pekerjaan makin berkurang sementara upah turun. Pada akhirnya pekerjaan yang mekanis dan berulang memang ditakdirkan akan dikerjakan robot yang lebih murah.
  • Saya berbicara dari sudut pandang seorang artis yang sudah menggambar lebih dari 30 tahun. Gagasan bahwa kami akan diturunkan menjadi pekerja pendukung pelatihan AI itu tidak masuk akal. Banyak artis menggambar bukan semata demi uang, tetapi karena "senang" melakukannya. Dalam diskusi tentang AI selama tiga tahun terakhir, bagian yang paling mendasar ini selalu hilang, dan itu sangat disayangkan.
  • Menurunkan seniman menjadi golongan pekerjaan untuk "pelatihan AI" itu tidak terlalu buruk? Menurut saya itu situasi yang pantas muncul di novel distopia. Kebanyakan artis tidak suka jika karya mereka dipakai untuk dimasukkan ke model lalu dibongkar menjadi bagian-bagian. Itu bukan lagi seni, melainkan hanya berfungsi sebagai komponen mesin. Seni bukan sekadar konsep menggambar beberapa gambar secara acak. Dalam situasi seperti itu, pertanyaan dasarnya adalah bagaimana para seniman bisa mencari nafkah, siapa yang akan membiayai orang-orang untuk menggambar "apa yang mereka ingin gambar" lalu menyerahkannya ke model, dan sebenarnya berapa banyak orang yang akan dipekerjakan untuk itu. Internet sudah dipenuhi gambar-gambar gagal, dan saya yakin pasar untuk spam atau penipuan yang memakai ini untuk menipu orang sudah lebih besar daripada pasar kreator sungguhan. Dan ke depannya akan makin parah.
  • Masalah yang saya rasakan dalam perdebatan AI dan hak cipta adalah bahwa yang diuntungkan hanya perusahaan-perusahaan besar. Karya-karya terkenal di layanan seperti ChatGPT diblokir otomatis, tetapi karya seniman kecil tidak diperlakukan begitu. Menurut saya, seharusnya dibuka untuk semua orang, atau untuk tidak siapa pun sama sekali.
  • Menarik sekali melihat posisi yang sekaligus bersimpati pada hak cipta seniman, tetapi juga sangat mendukung AI dari sisi hak cipta. Topik ini sangat emosional bagi banyak orang, jadi biasanya yang muncul adalah pendapat ekstrem; sudut pandang yang melihat kedua sisinya seperti ini cukup jarang. Saya penasaran bagaimana Anda memandang peran hak cipta di era AI.

• Akhirnya kita mungkin benar-benar memasuki era ketika kita bisa membuat Haruhi season 3 yang selama ini kita inginkan. Rasanya sungguh menyenangkan hidup di masa seperti ini.

  • Mari kita bicarakan lagi lima atau sepuluh tahun dari sekarang. Rasanya kita masih belum sedekat itu. Tapi saya penasaran ke mana arahnya.
  • Ini adalah serial pertama yang benar-benar saya tonton dengan serius dalam anime (di luar film atau DBZ). Sampai sekarang kenangannya masih sangat kuat. Saya benar-benar menyesalkan bahwa semuanya terhenti karena sutradaranya. Kalau ada siapa pun yang bisa menuntaskan atau me-reboot serial ini sampai tamat, itu akan jadi hadiah terbaik.
  • Atau mungkin juga remake Neon Genesis Evangelion.
  • Tunggu... jangan-jangan ini memang belum tamat sampai sekarang? Saya baru mulai menonton season 1...
  • Saya sudah melupakan anime ini lebih dari 10 tahun, lalu mendengarnya lagi sekarang langsung memicu nostalgia besar.

• Saya mencobanya dengan ilustrasi promosi <i>Neon Genesis Evangelion</i>. Hasilnya lumayan, tetapi saat kepala berputar muncul artefak temporal pada animasi rambut. Ada juga halaman referensi seperti kumpulan contoh.

  • Tautannya tidak berfungsi.

• Menyampaikan ringkasan kutipan makalah: "Memperkenalkan metode pelatihan dengan panjang variabel, melatih segmen 2 detik hingga 8 detik. Dengan strategi ini, dimungkinkan menghasilkan video 720p berdurasi 2–8 detik." Saya ingin membandingkannya dengan FramePack. Menurut saya, untuk animasi 2D memang ada kelebihan karena hampir tidak ada batasan durasi frame.

• Kalau tertarik dengan konten animasi AI, saya merekomendasikan ikut kompetisi AniGen.

  • Batas waktunya 20 Mei, jadi sepertinya harus buru-buru.

• Saya penasaran apakah model ini bisa menampilkan karakter yang sama secara konsisten di berbagai adegan dan sudut pandang. Menurut saya itu adalah keterbatasan utama dunia image generation sampai sekarang.

• Dari contoh pertama saja sudah kelihatan banyak kesalahan. Bagian lengan pada kemejanya rusak, dan rambut yang bergerak kadang menghilang lalu muncul lagi. Pada akhirnya yang benar-benar bergerak kebanyakan cuma lengan dan awan.

• Meski ganti akun dan input, setiap kali tetap muncul error aneh jadi tidak bisa berjalan dengan semestinya.

• Saya penasaran dengan status hak cipta video yang dibuat dari layanan seperti ini. Saya ingin tahu apakah hasilnya mendapat perlindungan hak cipta. Posisi Kantor Hak Cipta AS saat ini adalah bahwa "hasil dari AI generatif hanya bisa dilindungi hak cipta jika penulis manusianya cukup menentukan (atau menyuntikkan) elemen kreatif." Jika tidak dilindungi, maka kalau seseorang membuat film dan sebagainya dengan layanan ini, ada risiko hasilnya langsung disalin atau dijiplak. Sebagai catatan, data apa yang dipakai untuk melatih tool ini saya sisihkan dari pembahasan.

• Saya ingin melihat seberapa berbeda adegan pertarungan di <i>The Beginning After the End</i> jika diproses dengan tool ini. Saya sungguh penasaran dengan arah perkembangannya. Apakah orang akan menerima lebih banyak cacat visual dan artefak asalkan mereka mendapat season baru dari franchise yang mereka sukai, atau justru akan menolaknya seperti penggunaan model 3D yang terasa canggung?

  • Toei Animation punya rencana untuk menerapkan AI di berbagai bidang. Misalnya untuk pembuatan storyboard (menghasilkan layout sederhana dan sudut pengambilan gambar), penentuan warna dan koreksi warna otomatis, douga/in-between animation (line drawing dan pembuatan frame antara secara otomatis), serta latar belakang (dibuat otomatis dari foto). Karena sutradara tetap akan bertanggung jawab atas kualitas akhir, saya rasa hasilnya akan baik tanpa artefak, dan saya juga melihat sisi positifnya karena kreator indie, walau belum sempurna, bisa membuat karya mereka sendiri.
  • Dalam situasi yang belum menunjukkan percobaan baru atau kemajuan sebesar ini, apakah layak dibahas terlalu serius? Saya sudah mencobanya sendiri, dan kelemahan lama AI pembuat video masih tetap ada. Yang paling lemah adalah menangani adegan aksi yang berantai atau dinamis, terutama banyak adegan aksi dalam anime yang tidak bisa dicakup dengan baik. Tool ini pun tidak memuaskan, dan sebagian besar model tertutup (komersial) juga tidak terlalu bagus.
  • Membayangkan masa depan ketika AI bisa dipakai untuk douga.