Issen (YC F24) meluncurkan tutor bahasa AI personal

• Ini adalah aplikasi yang ingin menggantikan latihan berbicara nyata—bagian yang paling kurang dalam pembelajaran bahasa asing—dengan tutor suara AI, sehingga mengurangi biaya penyesuaian jadwal dan pencarian tutor
• Berangkat dari pengalaman sulit menemukan alat latihan berbicara bahasa Jepang dan Prancis, dan memandang biaya per jam serta beban reservasi tutor manusia sebagai masalah utama
• Pipeline AI suara miliknya menggabungkan STT, TTS, LLM, memori jangka panjang, interupsi, dan turn-taking, serta memanfaatkan Gemini Flash, Whisper, Scribe, GPT-4o-transcribe untuk mengurangi kesalahan pengenalan
• Alih-alih gamifikasi, fokusnya ada pada percakapan imersif, lalu kata-kata baru yang dipelajari dari obrolan suara AI diteruskan ke buku kosakata dan flashcard SRS
• Tersedia di web, iOS, dan Android, menawarkan uji coba gratis 20 menit, dengan harga $20–29 per bulan tergantung durasi dan wilayah

---

Pengalaman belajar bahasa yang dibidik Issen

• Issen adalah aplikasi tutor suara yang dirancang agar pembelajar bahasa asing bisa langsung berbicara dan tenggelam dalam bahasa target
• Tutor manusia bisa efektif, tetapi biaya per jam, penyesuaian jadwal, dan biaya pencarian hingga menemukan tutor yang cocok menjadi beban
• Tujuannya adalah meningkatkan kemampuan berbicara nyata melalui percakapan utuh yang realistis, bukan kuis singkat atau skor
• Tidak terlalu berfokus pada gamifikasi
  • Mereka menilai pengalaman mempertahankan streak panjang atau meraih skor tinggi di dalam aplikasi belum tentu berujung pada kefasihan nyata

Pipeline AI suara dan fitur pembelajaran

• Aplikasi ini memproses percakapan dengan pipeline AI suara buatannya sendiri
  • Menggabungkan STT, TTS, LLM, memori jangka panjang, interupsi, turn-taking, dan lainnya
  • Dalam kondisi aksen pembelajar, kalimat campuran beberapa bahasa, dan lingkungan bising, sulit menjaga akurasi STT
  • Untuk mempertahankan alur percakapan, Gemini Flash, Whisper, Scribe, dan GPT-4o-transcribe digunakan bersama
• Kata-kata baru yang dipelajari dari obrolan suara AI terhubung ke buku kosakata dan flashcard SRS
  • Digunakan untuk cepat meningkatkan kosakata dan kemampuan berbicara
• Menghasilkan kurikulum yang dipersonalisasi sesuai tujuan, minat, dan preferensi tiap siswa
• Pengaturan seperti kecepatan, turn-taking, dan tingkat formalitas bisa dikustomisasi
• Tersedia demo
• Berjalan di web, iOS, dan Android, dan setelah uji coba gratis 20 menit, harganya $20–29 per bulan tergantung durasi dan wilayah

[GN⁺]

Komentar Hacker News

• Saya ingin menyampaikan bahwa saya setuju bahasa pembelajaran bahasa memang butuh inovasi
  Saya mencoba belajar bahasa Yunani tingkat pemula di aplikasi web ini, dan pengalamannya lebih baik daripada mode suara ChatGPT atau Gemini
  Namun setelah sekitar 5 menit saya merasa bingung karena tutor AI ini tampaknya tidak memahami rencana belajar pribadi saya maupun kesulitan yang saya hadapi
  Misalnya, setelah bertanya tentang hobi saya, ia langsung mengucapkan kalimat panjang dalam bahasa Yunani tentang mendaki gunung
  Sebagai pemula total, saya bukan hanya tidak bisa menjawab kalimat itu, bahkan mengulanginya pun sulit
  Saya bahkan tidak tahu apa yang seharusnya saya lakukan saat itu
  Kalau guru sungguhan, mereka mungkin akan mengulangi sebagian kalimat lalu menerjemahkan atau memberi penjelasan
  Tetapi tutor AI ini hanya menunggu saya mengatakan sesuatu, lalu malah mengembangkan percakapan ke topik liburan pantai
  Meski begitu, saya merasa ini tetap lebih baik daripada AI yang sudah ada, jadi saya berencana mencobanya lagi

  • Saya merasakan hal yang mirip saat mencobanya dalam bahasa Swedia
    Tidak terasa jauh berbeda dari mode suara lanjutan ChatGPT, dan saya tetap harus memimpin percakapan, jadi secara keseluruhan kesannya agak acak
    Akhirnya saya hanya berputar pada topik-topik yang sudah familiar sehingga nilai latihannya justru berkurang
    Saya tadinya berharap ada rencana belajar bergaya panduan yang lebih terstruktur untuk memperluas area dan kemampuan baru
  • Saya rasa Language Transfer adalah materi pembelajaran bahasa yang lebih baik daripada kursus berbasis AI mana pun
    Kurikulumnya dirancang secara sistematis selama bertahun-tahun oleh instruktur manusia, jadi logikanya jauh lebih kuat daripada yang lain
    Khususnya kursus bahasa Yunaninya sangat bagus, tanpa iklan, dan sepenuhnya gratis
    Saya dengan yakin merekomendasikannya sebagai alat belajar bahasa terbaik yang pernah saya gunakan
    https://www.languagetransfer.org/
  • Ketika saya bilang bahasa ibu saya adalah bahasa Yunani, muncul error dan panduan onboarding ter-reset
    Saat saya berbohong dengan mengatakan bahasa ibu saya bahasa Inggris, prosesnya berjalan normal
    Namun aplikasi itu memanggil saya Anton, bukan dengan nama yang saya masukkan
  • Saya merasa keterbatasan arsitektur STT->LLM->TTS cukup jelas
    Nuansa bahwa saya terbata-bata atau kesulitan berbicara hilang sepenuhnya dalam proses konversi ke teks
  • Saya pernah membayar Memrise untuk memoles kemampuan bahasa Prancis saya
    Pelajaran berbasis skripnya sangat bagus, tetapi mode percakapan AI-nya melupakan tingkat kosakata dan tata bahasa yang diajarkan di kelas lalu mulai bercakap-cakap dengan idiom
    Akhirnya saya kehilangan minat dan berhenti menggunakannya

• Saya benar-benar tidak bisa memakai Duolingo karena gamifikasinya terlalu berlebihan, jadi saya berterima kasih aplikasi ini mengurangi bagian itu
  Saya penasaran apakah aplikasi ini bisa berpindah dengan alami antara bahasa ibu saya dan bahasa target, dan apakah saya boleh bertanya dalam bahasa Inggris di tengah percakapan

  • Saya merasa aplikasi-aplikasi ini berfokus pada optimasi untuk keseluruhan kelompok pengguna dan tidak mampu memberi pengalaman yang benar-benar disesuaikan untuk tiap individu
    Bahkan ada makalah yang diterbitkan tentang optimasi global
    Metrik belajar atau produksi konten itu mudah, tetapi belum ada yang berhasil membangun loop yang benar-benar menyesuaikan diri untuk tiap pelajar
    Bahkan di Duolingo, meski saya menekan "latihan", tidak ada perkembangan dan yang muncul setiap kali tetap saja Bread and water(konten yang basi)
  • Saya menekankan bahwa saya sudah lama meneliti integrasi multibahasa STT dan TTS, dan sistem ini bekerja baik saat beberapa bahasa dicampur
  • Saya rasa Babbel lebih baik daripada Duolingo

• Saya tidak bisa sepenuhnya memercayai TTS (sintesis suara) untuk pembelajaran bahasa
  Pengucapan yang salah bisa terinternalisasi tanpa kita sadari
  Di kursus bahasa Jepang Duolingo, saya kira itu rekaman suara asli, tetapi oyogu terdengar seperti oyNHYAOgu hasil sintesis yang aneh
  Sebagai pemula, saya khawatir orang akan menirukan kesalahan seperti itu begitu saja
  Tentu saja, kalau waktu imersinya cukup panjang, kesalahan bisa diperbaiki, tetapi mempelajari sesuatu dengan salah sejak awal butuh usaha lebih besar
  Ini terutama penting dalam bahasa Jepang, di mana pitch accent itu krusial, tetapi banyak materi dan orang justru mengabaikannya
  Contoh: ima bisa berarti "sekarang" atau "ruang tamu" tergantung tinggi-rendah suku kata kedua
  Masalah ini bisa makin besar pada bahasa seperti Jepang yang punya banyak kosakata berbasis kanji

  • Model TTS baru dari Minimax cukup hebat
    Saya sedang menerapkan suaranya pada beberapa tutor bahasa Jepang, dan pitch accent-nya juga nyaris sempurna
    Kadang masih ada kesalahan pada kanji atau salah baca, tetapi ketika furigana-nya berbeda kita bisa langsung tahu
  • Saya merasa tingkat kesulitan TTS bahasa Jepang ternyata sangat tinggi
    Saya juga membuat aplikasi pembelajaran bahasa dan sudah mencoba TTS dari banyak vendor (11labs, OpenAI, play.ht, Azure, Google, Polly, dll.), tetapi satu dari tiga kalimat selalu ada error
    Butuh sekitar seminggu untuk memperbaikinya, dan sekarang sudah tanpa error
    Fenomena ini paling parah di bahasa Jepang; untuk kebanyakan bahasa tonal, nadanya biasanya benar
    Saya tidak merasa punya kapasitas untuk menilai apakah hasilnya terdengar alami, tetapi saya belum pernah mengalami ketidakselarasan separah bahasa Jepang
  • Pengenalan suara AI (transkripsi) sudah cukup bagus, dan terjemahan AI juga lumayan tergantung pasangan bahasanya
    Namun TTS masih kurang kualitasnya di sebagian besar bahasa
  • Saya juga pemula bahasa Jepang, dan sangat merasakan pentingnya pitch accent
    Setiap bahasa punya cara penekanan suku kata yang berbeda
    Bahasa Spanyol mengandalkan panjang vokal, bahasa Islandia volume, bahasa Inggris panjang+volume, sedangkan bahasa Swedia/Jepang mengandalkan tinggi-rendah nada
    Dalam bahasa Inggris pun, kalau penekanannya salah, komunikasi bisa gagal
    Bahasa Jepang lebih khusus lagi karena punya banyak homonim dan makna berubah tergantung pitch
    Tinggi-rendah nada yang akurat benar-benar penting

• Aplikasi ini benar-benar pengalaman terbaik
  Percakapan dengan orang Argentina terasa sangat natural
  Saya sudah tinggal di Buenos Aires lebih dari 18 tahun, dan pengucapan serta intonasi saya juga lumayan bagus
  Yang selama ini kurang adalah dasar tata bahasa, dan aplikasi ini membantu memoles celah-celah itu dengan presisi
  Di UX iOS, saat modal pengaturan dibuka, tombol tutup (CTA) kurang terlihat sehingga agak disayangkan
  Warna tombol pengaturan saat diklik dan saat nonaktif hampir sama
  Solusinya: tambahkan tombol tutup X di kanan atas dan ubah warna saat diklik
  Kalau ingin masukan UX lebih lanjut, silakan hubungi saya di visualsitemaps.com

• Saya mencoba mempelajari bahasa Vietnam, tetapi kualitas pelajarannya sangat rendah dan ada juga informasi yang salah
  Kalimat Anh mệt memang benar ketika pria merujuk pada dirinya sendiri, tetapi penjelasan bahwa Em mệt adalah bentuk untuk perempuan itu salah
  Anh berarti laki-laki yang lebih tua, sedangkan Em dipakai untuk yang lebih muda tanpa memandang gender
  Banyak perempuan memang lebih suka Em karena ingin terlihat lebih muda dari usia sebenarnya, tetapi pria muda pun bisa memakai Em
  Tutor yang baik seharusnya menjelaskan konteks berdasarkan usia dan relasi
  Ada juga error di mana kalimat bahasa Inggris dibacakan dengan aksen Vietnam
  Kadang sistem memberi saya kalimat yang terlalu sulit untuk level saya atau melenceng dari permintaan saya
  Meski bahasa Vietnam Selatan lebih umum, para tutor di sini berasal dari Vietnam Utara
  Pengenalan suara (STT) juga terlalu permisif walau pengucapannya salah, atau bahkan tidak bisa membedakan bahasa Inggris dan Vietnam
  Contoh: "Phai" dikenali sebagai "bye"
  Saya sempat berharap karena ini jauh lebih murah dan bisa dipakai tanpa penjadwalan, tetapi sulit memercayai akurasinya
  Saat ini saya membayar tutor orang Vietnam $20 per pelajaran, total $160 per bulan

  • Saya minta maaf karena kualitasnya belum memadai, dan saya belum sempat menguji bahasa Vietnam
    Terima kasih sudah menyampaikan masalah ini
  • Ini tipe kesalahan umum yang sering muncul di LLM
    Kita sangat butuh platform pembelajaran bahasa yang bagus
  • Senang bertemu sesama pembelajar bahasa Vietnam
    Saya setuju umpan balik itu sangat tepat sasaran
    Saya membuat alat untuk membantu latihan kalimat dasar dan ingin mendapat masukan https://envn.app

• Saya mencobanya dalam bahasa Jepang dan rasanya cukup membuat frustrasi
  Meskipun saya pemula, tutor tetap berbicara hanya dalam bahasa Jepang, dan itu terus berlanjut walau saya berkali-kali bilang saya tidak paham
  Saya juga meminta agar transisinya bertahap dari bahasa Inggris ke bahasa Jepang, tetapi ia hanya mengatakan satu kalimat dalam bahasa Inggris lalu langsung kembali ke bahasa Jepang
  Bagi pelajar tingkat menengah ke atas yang sudah cukup mampu, ini mungkin berguna untuk latihan percakapan, tetapi pengalaman untuk pemula total masih perlu ditingkatkan
  Karena modelnya mendukung multimodal, akan bagus kalau materi visual juga dimanfaatkan secara aktif
  Akan lebih baik lagi kalau bahasa Jepang yang ditampilkan bisa langsung disajikan dalam rōmaji

  • Saya sangat memahami pengalaman itu
    Sejujurnya, fokus saat ini memang pada pelajar level B1 ke atas
    Kalau yang dibutuhkan adalah pembelajaran tahap 0→1 untuk pemula total, mungkin materi tradisional akan lebih baik, terutama yang tidak terlalu menekankan listening dan speaking

• Mode percakapan suara hands-free di aplikasi mobile ChatGPT cukup berguna
  Hanya saja, tanpa topik yang jelas percakapannya jadi datar dan selalu berhenti di hal-hal klise
  Karena itu saya biasanya menyalin satu artikel berita penuh beserta tautan terkait lalu memberi instruksi, "mari latihan bahasa dengan topik ini"
  Dengan cara ini saya bisa latihan nyata sambil jalan selama satu jam dalam bahasa Spanyol
  Kalau saya mau, saya bisa bertanya ke ChatGPT hanya dalam bahasa ibu saya, sementara lawan bicara (chatbot) hanya menjawab dalam bahasa target, sehingga fokus latihan listening terjaga
  Saya penasaran seberapa jauh Issen memperbaiki pengalaman ini

  • Saya juga berangkat dari titik yang mirip
    Perkembangan model suara juga sangat cepat
    Saya merasa kita butuh pengalaman menyeluruh yang memang dikhususkan untuk pembelajaran bahasa, seperti kurikulum yang dipersonalisasi, prompt, model AI untuk pengenalan yang akurat, flashcard/kamus, dan sebagainya
    Mode hands-free juga tersedia, dan berbagai elemen seperti slang, kecepatan bicara, serta persentase penggunaan bahasa target bisa dikustomisasi

• Saya sudah mencoba berlatih dalam bahasa Rusia, dan latihannya sendiri bagus, tetapi kekurangan umum dari semua aplikasi belajar bahasa adalah kemampuan menangkap dan mengoreksi kesalahan pengucapan saya
  Kalau pengucapannya hanya kira-kira mirip, pengenalan otomatis (STT) tetap akan meloloskannya
  Saya berharap akan datang masa ketika AI benar-benar bisa "mendengar" pengucapan saya dan menangkap dengan akurat bagian mana yang salah tanpa terlewat
  Saat ini bukan cuma masalah aksen, tetapi juga akhiran kasus dan tekanan kata yang belum bisa dideteksi
  Kalau AI mengucapkannya kembali dengan intonasi atau bentuk yang benar memang membantu koreksi, tetapi tetap belum memberi rasa yakin seperti guru manusia
  Usulan produk: tambahkan fitur untuk mematikan transkripsi (subtitle)
  Terutama karena pada beberapa bahasa, melihat tulisan justru bisa mengganggu, atau menjadi jalan pintas bagi pemula
  Terakhir, dibanding percakapan yang acak dan tanpa arah seperti "bagian apa dari AI yang paling menarik bagimu?", akan jauh lebih menyenangkan kalau ada struktur percakapan yang lebih berorientasi tujuan
  Bahkan tanpa gamifikasi, format debat seperti "coba yakinkan saya soal topik ini!" atau pengaitan ke pengalaman nyata seperti "apa tujuan paling pentingmu dalam pekerjaan tahun ini?" bisa mendorong munculnya opini dan pengalaman yang lebih substansial
  Menurut saya ini produk pertama yang benar-benar tampak akan saya gunakan, jadi pujian untuk itu

  • Saya sangat setuju dengan ide pelajaran persuasi (debate club)
    Kalau model voice-to-voice sudah matang, saya sangat menantikannya
    OpenAI/Gemini juga membuat kemajuan besar, jadi kami berencana segera menerapkannya

• Saya penasaran kenapa videonya dikunci dan baru bisa dilihat setelah login, bahkan setelah pemutaran pertama
  Saya melihat umpan balik bahwa aplikasi ini menargetkan B1 ke atas, tetapi video demonya justru beragam dari A1 sampai C1
  Pengguna yang membutuhkan seluruh rentang A1~C1 itu jarang, dan tiap level punya pasar yang jelas terpisah, jadi perlu dibedakan
  TTS bahasa Prancis terasa kurang natural dibanding suara bawaan ChatGPT
  Kalau ada tugas satu klik berdasarkan level pengguna—misalnya membaca berita lalu berdiskusi, nuansa dan inferensi, dan sebagainya—saya rasa itu akan sangat populer
  Banyak pengguna khususnya tidak menyadari bahwa ujaran mereka kurang punya kohesi, jadi struktur yang menunjukkan bahwa kemampuan seperti ini adalah inti threshold proficiency akan sangat membantu secara nyata

• Aplikasinya dibuat dengan baik, dan saya sudah merekomendasikannya ke sekitar 10 orang
  Ada beberapa hal yang saya penasaran:

• Di LinkedIn tampaknya karyawannya hanya dua orang; bagaimana QA untuk sebanyak ini bahasa dilakukan?
• Urdu bekerja cukup baik, tetapi kenapa hanya ada suara perempuan dan tidak ada suara laki-laki?
• Tim Sesame lebih besar, tetapi saya penasaran pendapat pengembang soal mengapa suara Sesame terasa senatural manusia sungguhan (saya akui ini tantangan yang jauh lebih besar dibanding Sesame yang belum mendukung multibahasa)
  • Terima kasih atas pujiannya
    Kami menguji dan menyetel terutama pada bahasa-bahasa yang paling populer
    Beberapa bahasa yang bermasalah memang kami hapus berdasarkan masukan pengguna, dan masih ada bahasa yang belum sempat kami periksa
    Jenis suara ditentukan oleh kualitas layanan TTS (Openi, 11labs, minimax, dll.)
    Pada beberapa layanan tidak ada suara laki-laki, atau hanya suara perempuan yang bagus
    Ke depannya kami berencana menambahkan lebih banyak variasi suara
    Di Sesame, suara asli pengguna bisa dimasukkan ke TTS sehingga lebih sesuai dengan nuansa dan suasana pengguna, sedangkan kami saat ini masih memakai TTS bawaan yang sudah jadi
    Sesame juga punya latensi yang sangat rendah, tetapi untuk pembelajaran bahasa justru itu bisa menjadi kekurangan
    Ke depan kami menargetkan pengalaman berbasis model voice-to-voice yang sudah matang