NotebookLlama - Versi open source dari Google NotebookLM

 (github.com/meta-llama)
1 poin oleh GN⁺ 2024-10-28 | 1 komentar | Bagikan ke WhatsApp
  • Halaman GitHub lama untuk resep NotebookLlama bukan dokumentasi implementasi, melainkan halaman pemberitahuan bahwa lokasinya telah dipindahkan
  • Lokasi baru mengarah ke dokumen Building a Notebook Llama: A Step-by-Step Guide
  • Isi pada jalur lama mengulang pemberitahuan pemindahan yang sama, jadi konten sebenarnya harus dilihat di dokumen baru
  • Jika bookmark dan skrip yang ada merujuk ke jalur GitHub ini, URL baru perlu diperbarui
  • Saat ini halaman tersebut tidak memuat panduan penggunaan NotebookLlama seperti cara instalasi, struktur kode, atau prosedur menjalankan

Lokasi baru resep NotebookLlama

Jika masih menggunakan jalur lama

  • Jika bookmark atau skrip lama masih mengarah ke halaman GitHub ini, URL-nya harus diganti ke dokumen baru
  • Saat ini isi halaman GitHub hanya mengulang pemberitahuan pemindahan dan ucapan terima kasih

Konten yang tidak ada di halaman saat ini

  • Halaman ini tidak memuat cara instalasi NotebookLlama, struktur kode, prosedur menjalankan, maupun penjelasan fiturnya

Bacaan terkait

1 komentar

 
GN⁺ 2024-10-28
Komentar Hacker News

  • Semakin sering mendengarkan “episode” NotebookLM, semakin kuat keyakinan saya bahwa Google melatih model percakapan dua orang yang menghasilkan podcast langsung di atas model berbasis multimodal yang sudah ada
    Cara dua pembicara saling menyela dan berbicara tumpang tindih terasa menyeramkan karena sangat mirip manusia
    Mungkin juga mereka memakai podcast nyata dan transkrip dalam skala besar, lalu membuat “materi input” sintetis dari transkrip untuk dimasukkan sebagai sampel pelatihan
    Misalnya, mengambil satu episode The Daily, meminta sebuah model bahasa menulis artikel imajiner yang merangkum isi podcast itu, lalu memasukkan artikel tersebut ke model dua pembicara dan mentranskripsikan audio keluarannya untuk melihat seberapa cocok dengan artikel input
    Mungkin saya melewatkan detail penting, tetapi menurut saya kewajaran podcast ini tidak mungkin muncul hanya dari transkrip teks biasa

    • Melanjutkan alur pemikiran swyx, kemungkinan besar TTS ini adalah Soundstorm yang akhirnya dikeluarkan Google dari ruang bawah tanahnya
      https://google-research.github.io/seanet/soundstorm/examples...
    • Ada kabar baik dan kabar buruk: mereka tidak melakukannya seperti itu
      Ada podcast pertama yang mewawancarai engineer yang memimpin model audio tersebut: https://www.latent.space/p/notebooklm
      Ringkasnya, dikonfirmasi bahwa naskah dan audio dibuat secara terpisah, tetapi model TTS-nya sudah dilatih jauh lebih maju daripada yang tersedia secara open source maupun komersial
    • Saya merasakan hal serupa dengan NotebookLM, tetapi juga melihat satu hal aneh
      Kadang host A sedang berbicara, lalu tiba-tiba host B menyelesaikan kalimatnya
      Biasanya dalam situasi seperti ini A sedang menjelaskan sesuatu kepada B atau menjawab pertanyaan, jadi secara konteks tidak masuk akal; saya tidak tahu harus menafsirkannya bagaimana, tetapi ini fenomena yang menarik

  • Ini sebenarnya cukup jelas bukan open source: https://github.com/meta-llama/llama-recipes/blob/d83d0ae7f5c...
    Tidak ada berkas LICENSE juga, jadi untuk saat ini sepertinya kode ini paling jauh hanya bisa dipakai sebagai referensi

    • Memang tidak terlihat terlalu berguna untuk dipakai apa adanya, tetapi pendekatan yang dieksplorasi sendiri jelas dalam bentuk teks biasa dan terdokumentasi dengan baik
      Walaupun tidak bisa digunakan langsung, sebagai kontribusi terhadap pengetahuan publik ini sudah layak diapresiasi
    • Ini berbeda dari yang tertulis di README, jadi mungkin saja kesalahan: https://github.com/meta-llama/llama-models/blob/main/models/...
      Di sana merujuk pada lisensi Meta Llama 3.2
    • Terima kasih, tetapi saya tetap akan memakainya saja

  • Saya senang melihat ini. Orang-orang yang menyukai teknologi berisiko kalau mengabaikan NotebookLM
    Kebanyakan orang pintar yang saya kenal tetapi tidak terlalu teknis menerima NotebookLM secara luar biasa sebagai semacam killer app AI
    Orang tua saya yang berusia 70-an dan anak saya yang berusia 8 tahun sama-sama terkejut melihatnya dan terus memainkannya
    Seperti yang ditunjukkan seseorang di bawah, yang dimaksud di sini tepatnya adalah fitur “podcast”

    • Sebagai orang yang tidak mendengarkan podcast, saya tidak tahu risiko apa yang akan saya alami jika tidak membuat podcast dengan NotebookLM
    • Saya mengerti mengapa ini terlihat keren bagi banyak orang, tetapi bagi saya ini kebalikan dari penghemat waktu
      Bisa dibilang lebih seperti alat yang menghabiskan waktu
      Rasanya seperti video-video yang menjadi relevan karena sebagian orang, bahkan developer, tidak bisa membaca atau merasa terintimidasi oleh teks panjang
      Ada kerugian kompetitif yang hanya bisa sedikit dikurangi dengan menambahkan video bahkan pada halaman teks yang sangat pendek
    • Saya kurang paham. Apakah maksudnya orang-orang “pintar tetapi tidak teknis” tidak bisa membaca?
      Saya tidak tahu apa yang akan terlewat jika mengabaikan ini sebagaimana mengabaikan podcast lain
      Saya hampir tidak pernah melihat orang yang benar-benar belajar sesuatu dari podcast; biasanya hanya pengetahuan terpencar dari bidang lain yang tidak akan terpakai
    • Saya penasaran apakah yang dimaksud NotebookLM secara umum, atau secara spesifik trik podcast-nya
    • Setiap kali mendengarkan podcast NotebookLM tentang suatu artikel atau posting blog, saya merasa akan jauh lebih baik kalau artikel yang sama dibacakan saja dengan text-to-speech AI

  • Selama beberapa bulan terakhir saya mencoba membuat sesuatu yang mirip NotebookLM, yaitu podcast berita yang dipersonalisasi (https://www.tailoredpod.ai)
    Masalah terbesarnya adalah TTS API bagus yang ada saat ini terlalu mahal, sehingga perusahaan biasa yang tidak punya akses internal ke model Google sulit membuat produk seperti NotebookLM
    OpenAI menyediakan TTS API dengan kualitas yang lumayan untuk harganya, tetapi tetap terlalu mahal untuk menghasilkan audio berdurasi beberapa jam secara gratis
    Model TTS open source juga perlahan mengejar, tetapi masih membutuhkan hardware yang kuat. Contoh: https://github.com/SWivid/F5-TTS

    • Apakah sudah ada pengguna? Kalau TTS menjadi bottleneck, mungkin saya bisa membantu. Email ada di profil
    • Saya penasaran, “hardware yang kuat” itu kira-kira sekuat apa

  • Pilihan engine TTS-nya cukup aneh
    Dibandingkan sistem TTS terbuka, tidak ada yang mendekati level mutakhir
    XTTSv2 atau F5-TTS yang baru akan menjadi pilihan yang jauh lebih baik

    • Kodenya bisa diperbarui kapan saja agar memakai engine seperti itu
      Ketika Meta merilis sesuatu di GitHub, tujuannya lebih untuk memberi proof of concept, bukan menghadirkan yang “terbaik”
      Lisensi sistem-sistem TTS seperti itu juga penting, jadi sekadar terbuka saja tidak cukup
      Kalau ini produk untuk pengguna, mereka pasti memakai TTS yang lebih baik
    • Di halaman itu, pada bagian yang perlu diperbaiki, tertulis seperti ini:
      “Eksperimen model suara: Ini adalah batas sejauh mana model TTS terdengar alami. Dengan pipeline yang lebih baik dan bantuan dari orang yang lebih paham, ini bisa ditingkatkan. PR dipersilakan! :)”

  • Contoh outputnya sangat buruk
    Meski ini demo yang keren, justru makin menegaskan betapa tim NotebookLM berhasil membuat produk yang sangat populer dengan model dasar yang hampir sama dengan yang sudah tersedia

  • Menurut saya ini lebih mirip beberapa eksperimen di dalam notebook iPython daripada NotebookLM open source
    Hal yang dilakukan NotebookLM di level LLM sebenarnya tidak terlalu baru; yang menarik adalah cara mereka mengemasnya sebagai produk, berbeda dari produk lain
    Bagian “podcast”-nya pun sebenarnya lebih mirip pengantar atau ringkasan untuk korpus besar, dan yang jauh lebih berguna adalah fitur untuk bercakap-cakap dengan bot tentang korpus itu sambil mendapatkan sumber kutipan
    Namun contoh ini menunjukkan bahwa prototyping dengan LLM sangat cepat
    Jika belum pernah mencoba API-nya, saya sarankan untuk mencobanya

    • Tidak setuju
      Kebaruan NotebookLM ada pada cara dua pembawa acara saling menyela dan berbicara tumpang tindih
      Solusi open source lain tidak bisa melakukan itu dan hanya berbicara bergantian

  • Ada juga solusi notebook berbasis Jupyter lain yang mendukung model LLaMA: https://raku.land/zef:antononcube/Jupyter::Chatbook
    Video demonya ada di sini: https://youtu.be/zVX-SqRfFPA

  • Ini memang hanya membuat podcast, ya?
    Saya lebih tertarik pada fitur NotebookLM lainnya
    Podcast memang menarik, tetapi lebih terasa seperti gimmick

    • Sebaliknya, saya sudah beberapa kali menggunakan fitur podcast dan membagikannya ke banyak orang
      Itu adalah sistem sekaligus medium yang bagus untuk memahami informasi kompleks yang sebelumnya mungkin tidak akan saya cerna

  • Kalau ini bisa dijalankan secara lokal di ponsel, sepertinya akan cukup keren
    Saya membayangkan situasi ketika menerima dokumen kerja, misalnya dokumen kebutuhan produk, lalu mengubahnya menjadi podcast agar bisa didengarkan saat mengemudi
    Produktivitas bisa meningkat banyak dan masalah compliance juga tidak perlu dikhawatirkan

    • Akan bagus kalau ChatGPT atau Claude membuat aplikasi Android Auto yang bisa digunakan saat mengemudi