Kafka itu cepat — tapi saya akan memakai Postgres

Klaim inti

Industri teknologi terbagi menjadi dua kubu:

• Kubu 1: mengejar buzzword dan serampangan mengadopsi stack teknologi terbaru yang kompleks
• Kubu 2: mengambil pendekatan yang masuk akal dan praktis, memakai seperlunya saja

Penulis berpendapat bahwa dalam sebagian besar kasus, Postgres dapat digunakan sebagai sistem pub/sub dan queue sebagai pengganti Kafka.

Hasil benchmark

Performa pub/sub

• Single node 4 vCPU: menulis 5.036 pesan per detik, membaca 25.183 pesan per detik (fanout 5x)
• Replikasi 3 node 4 vCPU: throughput tetap mirip, latensi sedikit meningkat
• Single node 96 vCPU: 243.000 pesan per detik, kecepatan baca 1,16 GiB/s

Performa queue

• Single node 4 vCPU: 2.885 pesan per detik
• Single node 96 vCPU: 20.144 pesan per detik

Poin utama

1. Kemajuan hardware: hardware modern (CPU 192 core, RAM 4TB) membuat single node menjadi sangat kuat
2. Renaisans Postgres: gerakan "mari pakai Postgres untuk semuanya" sedang berkembang
3. Kepraktisan: startup besar seperti OpenAI pun masih memakai satu instance Postgres
4. Overhead organisasi: adopsi teknologi baru menimbulkan biaya pembelajaran, operasional, monitoring, dan lainnya

Kesimpulan

"Pakai saja Postgres sampai benar-benar mentok"

Sebagian besar perusahaan hanya membutuhkan throughput di level beberapa MB per detik, dan itu sepenuhnya bisa ditangani oleh Postgres. Pesan yang ingin disampaikan adalah bahwa sistem terdistribusi yang kompleks sebaiknya hanya diperkenalkan saat benar-benar diperlukan.

[ztaka]

Kafka lambat...

[roxie]

Saya tidak yakin apakah sesuatu yang meledak-ledak itu bagus untuk semua situasi, tetapi saya rasa saya cukup sering melihat kasus ketika Kafka dipakai padahal sebenarnya tidak perlu, sehingga menambah pekerjaan ekstra.

[beoks]

Lagi-lagi tulisan yang memuja PostgreSQL...
Yang penting adalah memakai secukupnya sesuai kebutuhan
dan desain yang memungkinkan kita beralih dengan fleksibel

[carnoxen]

Melihat ini, saya jadi teringat pada artikel rekomendasi Postgresql paling ekstrem

[roxie]

Oh, bagaimana Anda mengubah judul sesuai selera?

[carnoxen]

Judulnya?

[Posting rekomendasi Postgresql paling ekstrem](https://news.hada.io/topic?id=16365)  

Sebenarnya saya tidak memakai trik khusus yang besar.

[savvykang]

https://news.hada.io/guidelines

Mendukung Markdown
Didukung baik di isi maupun komentar.
Pada dasarnya mengikuti spesifikasi CommonMark.
Gambar tidak didukung.

Selain itu, tampaknya jika URL-nya adalah URL GeekNews, ikon akan ditampilkan di depan judul tautan

[ndrgrd]

Saya akan tetap memakai SQLite saja sampai SQLite benar-benar jebol.