Saya Membuat Database Vektor On-Device dalam C (LSM-tree + HNSW)

Saya mahasiswa tahun pertama, dan karena penasaran bagaimana mesin database sebenarnya bekerja, saya mulai membuatnya sendiri 4 bulan lalu. Awalnya ini adalah key-value store LSM-tree untuk belajar, tetapi setelah menambahkan layer vektor dan indeks HNSW, jadilah database vektor on-device.

Semuanya ditulis dalam C, tanpa dependensi eksternal. Ini adalah library embedded yang bisa ditautkan ke aplikasi dan berjalan langsung di perangkat tanpa server, dengan sasaran untuk RAG on-device atau pencarian semantik.

Komponen utama:

• Storage LSM-tree (WAL + memtable + SST + compaction)
• Indeks vektor HNSW (approximate nearest neighbor search)
• Kernel jarak ARM NEON SIMD (float32 / int8, L2 / dot)
• API query berbasis string (pencarian vektor yang digabungkan dengan filter, mudah untuk FFI binding)

Saat ini fiturnya mencakup CRUD dasar dan fungsi query.

Karena masih v1, masih ada bagian yang perlu dioptimalkan atau dilengkapi (dukungan x86, concurrency, binding mobile, dll.), dan batasan serta roadmap-nya dituliskan di README.

Namanya livero (libero, bahasa Italia untuk "bebas" + vector). Saya menamainya begitu karena ini adalah vector store yang bebas dari server, bebas dari dependensi, dan berjalan dengan bebas di atas perangkat:)