Perkenalan HN: Platform narasi sinkron sumber terbuka yang dapat di-host sendiri untuk e-book
(smoores.gitlab.io)Storyteller: Platform sinkronisasi otomatis untuk audiobook dan e-book
- Storyteller adalah platform self-hosted untuk menyinkronkan audiobook dan e-book secara otomatis.
- Platform ini menghasilkan file e-book yang mematuhi standar EPUB 3, sehingga dapat dibaca dengan semua pembaca e-book (perangkat lunak maupun perangkat keras) yang mendukung EPUB media overlay, atau menggunakan aplikasi mobile Storyteller khusus.
- Storyteller sepenuhnya self-hosted, dan semua buku disimpan di perangkat keras pengguna sehingga dapat dipindahkan, disalin, dan dicadangkan dengan bebas sesuai kebutuhan.
Opini GN⁺
- Storyteller penting karena menyediakan platform yang memudahkan sinkronisasi audiobook dan e-book untuk meningkatkan pengalaman membaca pengguna.
- Kemampuan self-hosted yang memberi pengguna kendali penuh atas data mereka selaras dengan perhatian modern terhadap privasi dan kepemilikan data.
- Kepatuhan pada standar EPUB 3 membantu meningkatkan kompatibilitas dan aksesibilitas dengan memungkinkan pengguna membaca buku di berbagai perangkat dan perangkat lunak.
1 komentar
Komentar Hacker News
Menarik sekali. Beberapa tahun lalu saya pernah membuat alat penyelarasan ebook-audiobook serupa, https://github.com/r4victor/syncabook
Waktu itu saya merasa pendekatan penyelarasan teks, termasuk yang berbasis machine learning, terlalu mahal secara komputasi dan kurang memadai untuk teks panjang, jadi saya memilih pendekatan menyelaraskan dua urutan audio setelah teks diubah menjadi suara sintetis
Storyteller tampaknya memakai pendekatan menyelaraskan teks, jadi saya penasaran berapa lama waktu yang dibutuhkan untuk menyinkronkan satu buku
Selain itu, versi audio dan teks sering kali cukup berbeda. Misalnya, audio bisa memiliki pengantar yang tidak ada di teks. Saya juga ingin tahu seberapa baik Storyteller menangani kasus seperti ini, apakah perlu pengeditan audio/teks secara manual atau perbedaannya ditangani otomatis
Algoritmenya dijelaskan cukup rinci di dokumentasi, tetapi garis besarnya seperti ini. Storyteller mentranskripsikan audio ke teks dengan Whisper, dan langkah ini adalah bagian yang paling mahal secara komputasi
Setelah itu, ia mencari tiap bab di dalam teks menggunakan pencarian fuzzy berbasis jarak Levenshtein. Bagian ini dimaksudkan untuk mengakomodasi perbedaan antara versi audio dan teks
Untuk setiap bab, ia kembali melakukan pencarian fuzzy pada seluruh hasil transkripsi untuk menemukan stempel waktu awal/akhir tiap kalimat
Secara umum hasilnya bekerja cukup baik, tetapi karena ebook diperlakukan sebagai data acuan, saat ini bagian pengantar atau penutup audiobook kadang bisa terlewat. Dukungan untuk memicu bagian seperti itu secara eksplisit sudah ada di roadmap
Dokumentasi juga menjelaskan secara rinci algoritme untuk menangani perbedaan audio dan teks secara otomatis
Keren sekali. Saya belum pernah memikirkan ini sebelumnya
Saat perjalanan pergi-pulang kerja saya mulai mendengarkan audiobook, dan malam hari saya membaca buku. Saat ini saya mendengarkan ebook lewat audiobookshelf[0], yang juga mendukung ebook
Saya meninggalkan komentar[1] di diskusi untuk menanyakan apakah audiobookshelf bisa membaca EPUB yang dibuat Storyteller
[0]: https://www.audiobookshelf.org/
[1]: https://github.com/advplyr/audiobookshelf/issues/189#issueco...
Saya ingin bisa berpindah bebas antara audiobook dan versi teksnya. Terima kasih sudah menyebut Storyteller di diskusi itu, saya akan mampir ke sana sendiri
Saya sangat suka ini. Hanya saja istri dan anak-anak saya semuanya membaca EPUB di ereader Kobo, jadi akan bagus jika halaman terakhir yang dibaca bisa disinkronkan dari Kobo ke Storyteller agar nanti bisa lanjut mendengarkan versi audiobook
Jika perlu untuk sinkronisasi, saya juga tidak keberatan memasang KOReader di semua perangkat Kobo. KOReader tampaknya belum mendukung EPUB3 media overlay, tetapi punya fitur sinkronisasi
Padahal itu malah bisa mendorong orang membeli bukunya dalam kedua format. Ada begitu banyak momen ketika saya membaca ebook lalu ingin melanjutkannya saat menyetir, dan akan menyenangkan jika ada “handoff” yang mulus ke versi audio
Wah, reaksinya jadi sangat besar saat saya tidak melihat sebentar. Kalau ada yang mencoba mengatur ini, silakan masuk ke kanal Gitter (https://smoores.gitlab.io/storyteller/docs/say-hi) untuk menyapa, meminta dukungan, atau memberikan masukan
Saya berharap ada lebih banyak informasi. Misalnya tautan aplikasi iOS, tangkapan layar, dan fitur yang ditawarkan proyek ini
Saya penasaran apakah ini perpustakaan ebook/audiobook dengan sinkronisasi seperti audiobookshelf, atau hanya alat sinkronisasi: https://www.audiobookshelf.org/
Storyteller adalah perpustakaan ebook/audiobook lengkap yang juga mencakup sinkronisasi. Hanya saja sampai sekarang fokusnya jauh lebih besar pada pengalaman membaca daripada pengalaman pengelolaan perpustakaan
Peningkatan pengalaman pengelolaan perpustakaan juga akan segera dikerjakan
https://apps.apple.com/us/app/storyteller-reader/id647446772...
Proyek yang sangat keren
Kalau sudah memakai AI untuk transkripsi, akan sangat bagus kalau juga bisa memakai TTS untuk menghasilkan suara AI
Saya pernah beberapa kali berlangganan Audible lalu berhenti, karena jumlah audiobook berkualitas tinggi terlalu sedikit. Bahkan buku yang dibacakan sendiri oleh penulis sering kali kurang bagus, dan kebanyakan penulis bukan narator profesional
AI yang bagus tampaknya akan luar biasa karena bisa mempertahankan energi, intonasi, dan kecepatan yang sama selama berjam-jam tanpa lelah
Cukup menarik.
Dulu saya pernah membuat sesuatu yang mirip dengan kombinasi ebook/audiobook untuk membuat dataset LJSPEECH kustom, lalu menyintesis suara narator favorit dengan coqui-tts dan model VITS, sehingga buku yang belum pernah terbit sebagai audiobook bisa “diterbitkan”.
Isi buku bisa disinkronkan dengan stempel waktu, audio bisa dipecah per kalimat, dan dari kombinasi itu bisa dibuat dataset LJSPEECH.
Saya memakai aeneas[1], dan konfigurasinya agak rumit, tetapi seiring waktu alat itu bisa memetakan bahasa non-Inggris juga, dalam kasus saya bahasa Jerman, dengan akurasi di atas 80%.
Hasilnya bekerja cukup baik dan dataset LJSPEECH-nya juga lumayan, tetapi saat itu teknologi TTS masih belum cukup matang. Mungkin sudah waktunya menghidupkannya kembali dengan pendekatan pemodelan yang lebih baru seperti XTTS.
[1]: https://www.readbeyond.it/aeneas/
Seperti yang Anda katakan, memang ada banyak buku bagus, tetapi yang lebih parah adalah buku-buku hebat dengan kualitas narasi/produksi yang biasa saja. Misalnya, A Song of Ice and Fire di Audible benar-benar mengerikan, sedangkan The Martian karya Andy Weir luar biasa.
Bisakah Will Wheaton atau Greg Tremblay “dipindahkan” ke GOT? Bisakah beberapa karakter dibacakan dengan suara yang berbeda-beda? Kalau bisa, saya ingin mencobanya lagi.
Tautannya tertinggal: https://smoores.gitlab.io/storyteller/
Kelihatannya sangat bagus, dan langkah berikutnya adalah membuat ekosistem sinkronisasi penuh untuk pengelolaan buku.
[0] https://www.audiobookshelf.org/
Hal yang benar-benar saya inginkan dari era machine learning yang baru ini adalah TTS dan STT setara manusia yang bisa di-host sendiri.
Akan bagus jika kita bisa mendengarkan ebook teks, lalu mengubah podcast besar atau kursus kuliah video/audio menjadi teks agar mudah dicari dan dikutip.
Saya penasaran apakah ini termasuk ke arah sana. Sejauh ini yang saya temukan masih jauh di bawah manusia atau berupa layanan online mahal.
Keren sekali. Saya sudah menginginkan hal seperti ini selama beberapa tahun. Akan bagus kalau Libby mengintegrasikannya sehingga bisa dipakai juga untuk buku pinjaman.
Akan lebih bagus lagi kalau Anda menambahkan tautan aplikasi App Store.
Saya akan mengajukan perubahan agar tautan itu langsung dimasukkan ke dokumentasi.