Masa depan kdb+?

Kasus penggunaan

• Penyimpanan dan analisis data pasar historis

  • Contoh: MS Horizon, Citi CloudKDB, UBS Krypton

• Analisis kuant lokal

  • Contoh: analisis likuiditas, analisis PnL, analisis profitabilitas per pelanggan

• Mesin komputasi streaming real-time

  • Contoh: VWAP streaming, TCA streaming

• Komputasi terdistribusi

  • Contoh: perhitungan margin atau analisis risiko untuk portofolio saham

Alternatif

Data pasar historis - alternatif kdb+

• Teknologi basis data baru

  • Clickhouse, QuestDB

• Vendor cloud

  • Bigquery, Redshift

• Layanan data pasar

  • Sebagian besar pengguna tidak memerlukan "kecepatan" dari kdb+
  • Sebagian besar platform internal bank tidak memanfaatkan sepenuhnya kecepatan kdb+
  • Pesaing kini juga sudah cukup cepat

Perkiraan hasil

• kdb+ mungkin dapat mempertahankan pelanggan yang ada, tetapi tidak akan mendapatkan perusahaan lapis kedua yang menginginkan cloud-native atau hal lain

Analisis kuant lokal - alternatif

• Python
  • DuckDB, Polars, PyKX, dataframe/modin, dll.

Perkiraan hasil

• DuckDB atau Polars akan menang. Alasannya karena gratis

Streaming real-time / komputasi terdistribusi

• Kekuatan terbesar kdb+ adalah menggabungkan data streaming dan data historis dalam satu model
• Namun dibutuhkan orang yang sangat berpengalaman, kalau tidak hasilnya akan membingungkan

Perkiraan hasil

• kdb+ tidak akan menang. Kafka sudah merebut mindshare, dan flink/risingwave adalah bintang yang sedang naik daun

Ringkasan

• kdb+ adalah teknologi yang luar biasa, tetapi masih berada di level yang sama seperti 15 tahun lalu

• Perusahaan open source terbaik telah mencuri ide-ide kdb+

  • Parquet/Iceberg adalah format disk kdb+
  • Apache Arrow adalah format memori kdb+
  • Konsep log/replay/ksql di Kafka juga mirip
  • QuestDB, DuckDB, Clickhouse semuanya mendukung asof join

• Para pesaing telah menstandarkan bagian terbaik dari kdb+

  • Contoh: Snowflake, Dremio, Confluent, Databricks semuanya mendukung Apache Iceberg/parquet
  • QuestDB, DuckDB, Python semuanya mendukung parquet secara native

• KX harus melakukan empat hal berikut

  • Menyediakan versi gratis, dan lisensi yang bisa digunakan dengan biaya rendah
  • Membuat produk inti menjadi sangat baik
  • Mengurangi kurva pembelajaran
  • Menjadi lebih populer

Ringkasan GN⁺

• kdb+ masih merupakan teknologi yang kuat, tetapi para pesaing mengejarnya dengan cepat
• Alat gratis dan open source semakin populer, sehingga pangsa pasar kdb+ sangat mungkin menurun
• Agar kdb+ menjadi lebih populer, perlu menyediakan versi gratis, mengurangi kurva pembelajaran, dan memperkuat produk inti
• Produk dengan fungsi serupa antara lain DuckDB, Polars, QuestDB

[GN⁺]

Opini Hacker News

• TimeScale adalah ekstensi Postgres, sehingga fitur SQL dapat digunakan apa adanya

  • Memiliki fitur kompresi berbasis penyimpanan kolom sehingga bekerja sangat cepat
  • Ada pengalaman menggunakannya di aplikasi keuangan, dan dapat menangani data dalam jumlah besar dengan cepat
  • Dukungan di Slack bagus, dan secara pribadi memuaskan
  • kdb mahal dan bahasanya tidak efisien

• Ada kasus seseorang keluar dari pekerjaan hanya dalam 2 minggu karena pengalaman menggunakan kdb+

  • Desain bahasa dan proses debugging tidak nyaman, serta aturan coding tidak ada atau kurang memadai
  • Budaya perusahaan juga bermasalah, dan kode tidak terdokumentasi dengan baik
  • Seluruh stack sudah usang, dan menggunakan cara menyalin data dari qStudio ke Excel untuk membuat grafik
  • Tidak menggunakan Docker dan k8s, melainkan deploy langsung ke server, yang justru merupakan hal positif
  • kdb lebih terasa seperti senjata daripada alat

• Kemampuan integrasi vertikal kdb+ adalah kelebihannya

  • Satu teknologi dapat menjalankan berbagai peran
  • Dengan bahasa Q, serialisasi data, dan fitur IPC, sistem kustom dapat dibangun
  • Namun kdb+ bersifat proprietari dan mahal sehingga sulit diadopsi untuk proyek baru

• Tidak adanya versi gratis kdb+ membuat tingkat pengenalannya rendah

  • Ada pengalaman menggunakan kdb+ di bidang keuangan, dan desain serta kesederhanaannya mirip dengan filosofi Unix
  • Setelah meninggalkan industri keuangan, masih ingin memakai kdb+, tetapi ketiadaan versi gratis membuatnya tidak praktis

• Ada kasus mengembangkan bahasa sendiri karena tidak menyukai q/kdb+

  • Python saat ini paling banyak digunakan

• Ada pengalaman menjalankan startup dengan sukses menggunakan kdb+

  • Untuk memperluas tim, sistem tersebut harus ditulis ulang sebagai FOSS
  • Ada pendapat bahwa kx perlu mengubah platformnya menjadi open source

• kdb+ menarik, tetapi harganya terlalu mahal

  • Banyak calon pelanggan potensial diabaikan

• Beberapa koreksi tentang ClickHouse

  • ClickHouse sudah open source sejak 2016, dan telah dikembangkan sejak 2009
  • ClickHouse dapat menangani ketiga use case tersebut
  • ClickHouse adalah database SQL pertama yang memperkenalkan ASOF JOIN pada 2019

• Python saat ini dominan, tetapi utang teknis membuat perpindahan ke platform baru menjadi sulit

  • Proyek pengembangan baru kemungkinan akan menggunakan Python

• Pertanyaan tentang apakah pengembang kdb+ bisa menghasilkan banyak uang

  • Beberapa tahun lalu ada posisi dengan gaji tahunan sebesar 1 juta dolar AS