Apache Kafka menghapus ketergantungan pada ZooKeeper

• Karena menggunakan ZooKeeper sebagai penyimpanan metadata eksternal, muncul masalah seperti duplikasi, inefisiensi, dan keterbatasan skalabilitas

• KIP-500: "Kafka on Kafka"

→ Metadata dikelola langsung di dalam Kafka dan disimpan ke partisi

→ Metadata diperlakukan sebagai log

→ Kecepatan pembuatan/penghapusan topik meningkat: tidak seperti ZooKeeper, pembuatan topik baru pada partisi metadata selesai sebagai operasi O(1)

→ Satu klaster dapat mendukung lebih dari satu juta partisi

• Roadmap

→ Masih ada alat administrasi yang berkomunikasi langsung dengan ZooKeeper. API penggantinya akan disediakan

→ Karena akan muncul ketergantungan antara partisi metadata dan controller, di KIP-595 direncanakan implementasi self-managed metadata quorum dengan protokol Raft

→ Mode KIP-500 yang menjalankan Kafka tanpa ZooKeeper: pada awalnya dukungan penuh belum lengkap, sehingga ZooKeeper akan tetap digunakan bersama dalam mode legacy

→ KIP-500 adalah "Bridge Release". Ini adalah peningkatan perantara yang mempersiapkan migrasi tanpa downtime ke versi setelah KIP-500, saat dukungan ZooKeeper benar-benar dihapus. Juga mendukung agar nantinya bisa melakukan upgrade sekali lagi ke versi yang benar-benar tanpa ZooKeeper

[minji]

Terima kasih. Saya membacanya dengan baik.