aipack: Generator Parquet dengan semantic chunking netral berbasis BGE-M3 + server MCP

Kami merilis versi pertama framework aipack yang melakukan semantic chunking menggunakan BGE-M3, MarkItDown, dan parser struktur Markdown, lalu menyimpan hasilnya ke file Parquet. Framework ini dirancang untuk mengimplementasikan RAG berbasis format file yang dapat digunakan ulang kapan saja dengan tetap mempertahankan kondisi netral yang tidak bergantung pada model maupun database, serta memungkinkan server MCP dijalankan juga.

Arah yang dituju aipack menitikberatkan pada implementasi RAG yang tidak bergantung pada NPU atau GPU, sekaligus menciptakan lingkungan yang mudah diperluas ke berbagai struktur RAG di masa depan. Dengan premis "jika bisa membuat file Parquet berkualitas tinggi, maka apa pun bisa dilakukan", ini adalah proyek eksperimental yang mencoba melakukan decoupling pipeline RAG yang umum digunakan di industri.

Ini adalah implementasi dari ide yang selama ini saya pikirkan, jadi masih ada banyak bagian yang belum matang, tetapi saya akan sangat menghargai banyak masukan dan pendapat agar bisa membangun proyek ini menjadi lebih baik berdasarkan hal tersebut!