Library chunking super sederhana untuk Node.js

Hari ini saya sempat memperkenalkan vector DB sederhana yang saya buat untuk prototyping LLM..(https://id.news.hada.io/topic?id=10798)

Sekalian, saya juga membuat library chunking teks super sederhana untuk Node.js.

Saat menggunakan LLM untuk melakukan embedding dokumen, hampir tidak ada alat sederhana yang bisa dipakai, dan untuk Node.js malah lebih sulit ditemukan, jadi rasanya agak kurang nyaman kalau harus selalu memakai library besar. (Jangankan dipakai di Edge, kepikiran pun belum)

Karena sudah membuat VectorDB sederhana, saya sekalian membuatnya agar bisa dipakai bersama. Toh kalau digunakan untuk LLM, dalam banyak kasus tidak perlu terlalu presisi, jadi saya hanya menyiapkan kemampuan untuk memotong berdasarkan kalimat/paragraf secara sederhana dan mengatur overlap secukupnya.

Setelah dicoba sebentar, memang benar untuk hal seperti ini, It just works, simple is the best. hahaha

[golbin]

Produk saudaranya: vectorDB super sederhana untuk Node.js -> https://id.news.hada.io/topic?id=10798