Semua Hal tentang Log yang Harus Diketahui Software Engineer | Latar Belakang Kelahiran Apache Kafka

Artikel yang menerjemahkan dan mengulas tulisan Jay Kreps yang ditulis pada 2013 tentang pengembangan Apache Kafka di Linkedin

• Log: bentuk penyimpanan yang diabstraksikan paling sederhana, hanya memungkinkan append-only, dan merupakan struktur data tempat seluruh event diurutkan berdasarkan waktu
  • Dalam sistem database tradisional, log memainkan peran kunci saat mengimplementasikan replikasi
  • Sistem terdistribusi berbasis state machine replication pada dasarnya juga merupakan sistem yang mereplikasi log
• Log dan tabel memiliki kesetaraan.
  • Jika memakai contoh bank, log adalah catatan transaksi setoran/penarikan, sedangkan tabel menunjukkan saldo rekening. Tabel dapat dibuat dari log, dan sebaliknya log dapat diekstrak dari tabel
• Banyak perusahaan sangat aktif mengadopsi big data, tetapi kurang menaruh perhatian pada pembangunan pipeline data yang andal
  • Cara menghubungkan data secara end-to-end semakin sulit karena gangguan, maintenance, fragmentasi data, dan evolusi data event.
  • Gagasan Apache Kafka berangkat dari dorongan untuk mengabstraksikan struktur data bernama log sebagai main network layer
  • Jay Kreps di Quora menjelaskan bahwa message queue pada masa lalu adalah bidang yang sangat minor di dunia infrastruktur; ia berpikir data real-time harus diabstraksikan sebagai event stream, dan commit log yang persisten adalah struktur data yang tepat