murrdb/murr - Cache sub-milidetik untuk workload ML/AI

• Cache NVMe/S3 berbasis RocksDB yang ditujukan untuk workload inferensi AI dan dapat menggantikan Redis
  • Dioptimalkan untuk pembacaan dan penulisan zero-copy berlatensi rendah dengan pola pemrosesan batch
• Lapisan penyajian data yang berada di antara pipeline data batch dan aplikasi inferensi, dengan input Parquet dan output Arrow-Flight
• Tiered storage yang menempatkan data panas di memori, data dingin di disk, dan menerapkan replikasi berbasis S3
• Dengan model batch input·batch output, berjalan di atas penyimpanan kolumnar tanpa overhead per baris, dan file Parquet/Arrow 1GB dapat langsung dimasukkan ke Ingestion API
• Dengan protokol wire zero-copy, respons API dapat membentuk np.ndarray/pd.DataFrame/pt.Tensor tanpa konversi
• Desain stateless yang menyimpan seluruh state di S3 dan melakukan bootstrap sendiri dari block storage, sehingga tetap dapat dipulihkan meski node dikeluarkan
• Dukungan Python kelas satu dengan pemetaan zero-copy untuk array Numpy/Pandas/Polars/Pytorch, dan sparse columns membuat kolom tanpa data memakan 0 byte
• Kapan Murr cocok digunakan
  • Saat data berukuran besar dan berbentuk tabel, seperti dump Parquet berkapasitas besar di atas S3
  • Saat pembacaan dilakukan secara batch: misalnya mengambil 100 kolom dari 1000 dokumen
  • Dalam situasi yang sensitif terhadap biaya, offload ke disk/S3 lebih sederhana dan lebih murah secara operasional dibanding Redis dengan memori besar
• Keunggulan dibanding teknologi pesaing
  • Dibanding Redis: menyediakan persistensi berbasis S3 dan dapat meng-offload data dingin ke NVMe lokal
  • Dibanding RocksDB tertanam: tidak perlu membangun sendiri sinkronisasi data antara produsen dan node inferensi, karena sejak awal dirancang terdistribusi
  • Dibanding DynamoDB: penagihan hanya berdasarkan CPU/RAM, bukan per kueri, sehingga sekitar 10 kali lebih murah
• Berdasarkan benchmark, pada pembacaan packed-blob sekitar 3 kali lebih cepat daripada Redis, sekitar 12 kali lebih cepat daripada HSET gaya Feast, dan menggunakan RAM sekitar 3 kali lebih sedikit dibanding HSET
• Karena bukan database serbaguna, untuk OLTP disarankan Postgres, untuk analitik Clickhouse/BigQuery/Snowflake, dan untuk caching umum Redis
• Lisensi Apache 2.0