Kiwi: penganalisis morfologi bahasa Korea cerdas (Korean Intelligent Word Identifier)

• Kiwi: penganalisis morfologi bahasa Korea cerdas (Korean Intelligent Word Identifier)
• Pustaka penganalisis morfologi bahasa Korea yang mengutamakan kecepatan tinggi dan performa serbaguna
• Dibekali model bahasa ringan, sehingga dapat menganalisis morfem dengan cukup akurat bahkan ketika ada ambiguitas
• Diimplementasikan dalam C++. Pengembangnya penggemar C++.
  • Pustakanya tersedia untuk Python, JavaScript, C#, Java, R, dan Go
  • Dikompilasi ke wasm sehingga bisa dijalankan di browser
• Model tersedia dalam tiga ukuran: kecil (16MB), sedang (40MB), dan besar (90MB)
• Proses pengembangannya dipublikasikan secara rinci di blog
  • https://bab2min.tistory.com/560
• Pelatihan model bahasa Korea yang memanfaatkan Kiwi sebagai tokenizer juga mengesankan
  • https://github.com/bab2min/kiwi-farm