WarpStream: Kafka telah mati, hiduplah Kafka!

 (warpstream.com)
28 poin oleh xguru 2023-08-08 | 4 komentar | Bagikan ke WhatsApp
  • WarpStream adalah platform streaming data yang kompatibel dengan protokol Kafka dan dibangun langsung di atas S3
  • Disediakan sebagai biner Go tunggal yang stateless, sehingga tidak memerlukan disk lokal untuk dikelola, broker untuk di-rebalance, maupun ZooKeeper untuk dioperasikan
  • Karena bertukar data langsung dengan S3, biayanya 5~10x lebih murah daripada Kafka (bahkan bisa lebih dari 80% dari biaya infrastruktur yang masuk ke Kafka skala besar)
  • Kafka adalah perangkat lunak yang sangat bagus dan dibuat untuk data center pada 2011, tetapi tidak cocok untuk workload modern
    • Efisiensi biaya: secara desain, strategi replikasi Kafka menimbulkan biaya bandwidth antar-AZ yang sangat besar
    • Overhead operasional: mengoperasikan klaster Kafka memerlukan tim terpisah serta alat kustom yang kompleks
  • WarpStream berjalan langsung di object storage dari berbagai cloud (AWS S3, GCP GCS, Azure Blob Storage)
  • Saat ini dalam tahap developer preview

Bacaan terkait

4 komentar

 
xguru 2023-08-09

Lihat juga versi yang dirangkum oleh GN⁺. https://id.news.hada.io/topic?id=10254
 
pseudojo 2023-08-08

Alat yang mengurangi lapisan, tetapi harus ditangani dengan sangat hati-hati. Alat seperti ini selalu menyisakan kemungkinan menjadi bom tagihan. (* pengecualian jika dijalankan di pusat data sendiri dengan MinIO dan sejenisnya)
 
ehlegeth 2023-08-08

Ini tampaknya percobaan yang menarik dengan memanfaatkan arah penyimpanan terdisagregasi.
Saya penasaran bagaimana mereka menangani isu-isu seperti caching.
 
xguru 2023-08-08

Judul posting blognya memang agak provokatif, tetapi ini tampaknya percobaan yang menarik sebagai alternatif Kafka yang lebih ringan.