Kafka itu cepat — tapi saya akan memakai Postgres

Klaim inti

Industri teknologi terbagi menjadi dua kubu:

• Kubu 1: mengejar buzzword dan serampangan mengadopsi stack teknologi terbaru yang kompleks
• Kubu 2: mengambil pendekatan yang masuk akal dan praktis, memakai seperlunya saja

Penulis berpendapat bahwa dalam sebagian besar kasus, Postgres dapat digunakan sebagai sistem pub/sub dan queue sebagai pengganti Kafka.

Hasil benchmark

Performa pub/sub

• Single node 4 vCPU: menulis 5.036 pesan per detik, membaca 25.183 pesan per detik (fanout 5x)
• Replikasi 3 node 4 vCPU: throughput tetap mirip, latensi sedikit meningkat
• Single node 96 vCPU: 243.000 pesan per detik, kecepatan baca 1,16 GiB/s

Performa queue

• Single node 4 vCPU: 2.885 pesan per detik
• Single node 96 vCPU: 20.144 pesan per detik

Poin utama

1. Kemajuan hardware: hardware modern (CPU 192 core, RAM 4TB) membuat single node menjadi sangat kuat
2. Renaisans Postgres: gerakan "mari pakai Postgres untuk semuanya" sedang berkembang
3. Kepraktisan: startup besar seperti OpenAI pun masih memakai satu instance Postgres
4. Overhead organisasi: adopsi teknologi baru menimbulkan biaya pembelajaran, operasional, monitoring, dan lainnya

Kesimpulan

"Pakai saja Postgres sampai benar-benar mentok"

Sebagian besar perusahaan hanya membutuhkan throughput di level beberapa MB per detik, dan itu sepenuhnya bisa ditangani oleh Postgres. Pesan yang ingin disampaikan adalah bahwa sistem terdistribusi yang kompleks sebaiknya hanya diperkenalkan saat benar-benar diperlukan.