Daftar Bacaan Sistem Terdistribusi (2014)

Daftar Bacaan Sistem Terdistribusi

Pengantar

• Hal tersulit dalam sistem terdistribusi adalah mengubah cara berpikir.
• Daftar ini mengumpulkan materi yang berguna untuk mendorong perubahan tersebut.

Materi yang memicu pemikiran

• Kumpulan tulisan yang menawarkan perspektif baru tentang perancangan sistem skala besar.
• Harvest, Yield and Scalable Tolerant Systems: penerapan praktis teori CAP.
• On Designing and Deploying Internet Scale Services: perancangan dan penerapan layanan berskala internet.
• The Perils of Good Abstractions: sulitnya membangun API/antarmuka yang sempurna.
• Chaotic Perspectives: ketidakpastian dan paralelisme dalam sistem skala besar.
• Data on the Outside versus Data on the Inside: dua pendekatan dalam pengelolaan data.
• Memories, Guesses and Apologies: ketidakpastian dalam pemrosesan data.
• SOA and Newton's Universe: pendekatan filosofis terhadap arsitektur berorientasi layanan.
• Building on Quicksand: membangun sistem di atas fondasi yang tidak stabil.
• Why Distributed Computing?: mengapa komputasi terdistribusi diperlukan.
• A Note on Distributed Computing: konsep dasar komputasi terdistribusi.
• Stevey's Google Platforms Rant: pengalaman platform SOA di Google.

Latensi

• Keberadaan latensi dan cara menanganinya.
• Latency Exists, Cope!: dampak arsitektural dari latensi.
• Latency - the new web performance bottleneck: bottleneck baru dalam performa web.
• The Tail At Scale: masalah latensi dalam sistem skala besar.

Amazon

• Hal-hal menarik tentang budaya dan organisasi Amazon, lebih dari sekadar teknologinya.
• A Conversation with Werner Vogels: transisi ke arsitektur berbasis layanan.
• Discipline and Focus: pembahasan tambahan tentang transformasi arsitektur Amazon.
• Vogels on Scalability: pandangan Vogels tentang skalabilitas.

Google

• Teknologi mutakhir dalam sistem terdistribusi.
• MapReduce: model pemrosesan data skala besar.
• Chubby Lock Manager: pengelolaan lock terdistribusi.
• Google File System: sistem berkas skala besar.
• BigTable: sistem penyimpanan terdistribusi.
• Data Management for Internet-Scale Single-Sign-On: pengelolaan data single sign-on skala besar.
• Dremel: analisis interaktif untuk dataset berskala web.
• Large-scale Incremental Processing Using Distributed Transactions and Notifications: pemrosesan inkremental skala besar melalui transaksi terdistribusi.
• Megastore: penyimpanan yang dapat diskalakan dan highly available untuk layanan interaktif.
• Spanner: basis data terdistribusi global.
• Photon: penggabungan stream data kontinu.
• Mesa: sistem data warehousing real-time.

Model konsistensi

• Mencari keseimbangan antara konsistensi dan ketersediaan dalam perancangan sistem.
• CAP Conjecture: trade-off antara konsistensi, ketersediaan, dan toleransi partisi.
• Consistency, Availability, and Convergence: batas atas konsistensi.
• CAP Twelve Years Later: perubahan dalam teori CAP.
• Consistency and Availability: hubungan antara konsistensi dan ketersediaan.
• Eventual Consistency: konsistensi eventual.
• Avoiding Two-Phase Commit: cara menghindari two-phase commit.
• 2PC or not 2PC, Wherefore Art Thou XA?: keterbatasan two-phase commit.
• Life Beyond Distributed Transactions: pengelolaan data melampaui transaksi terdistribusi.
• If you have too much data, then 'good enough' is good enough: masa depan NoSQL dan teori data.
• Starbucks doesn't do two phase commit: mekanisme asinkron.
• You Can't Sacrifice Partition Tolerance: pentingnya toleransi partisi.
• Optimistic Replication: pendekatan konsistensi longgar.

Teori

• Makalah yang menjelaskan elemen penting dalam perancangan sistem terdistribusi.
• Distributed Computing Economics: ekonomi komputasi terdistribusi.
• Rules of Thumb in Data Engineering: aturan praktis dalam data engineering.
• Fallacies of Distributed Computing: kekeliruan dalam komputasi terdistribusi.
• Impossibility of distributed consensus with one faulty process: teori FLP.
• Unreliable Failure Detectors for Reliable Distributed Systems: failure detector untuk sistem terdistribusi yang andal.
• Lamport Clocks: sinkronisasi waktu dalam sistem terdistribusi.
• The Byzantine Generals Problem: masalah Byzantine.
• Lazy Replication: pemanfaatan semantik layanan terdistribusi.
• Scalable Agreement: ordering sebagai layanan.
• Scalable Eventually Consistent Counters over Unreliable Networks: counter yang dapat diskalakan di jaringan yang tidak andal.

Bahasa dan alat

• Permasalahan membangun sistem terdistribusi dengan teknologi tertentu.
• Programming Distributed Erlang Applications: membangun aplikasi terdistribusi dengan Erlang dan OTP.

Infrastruktur

• Prinsip manajemen timing yang kuat di internet.

Penyimpanan

• Consistent Hashing and Random Trees: consistent hashing dan random tree.
• Amazon's Dynamo Storage Service: layanan penyimpanan Amazon.
• Paxos Consensus: memahami algoritma Paxos.
• The Part-Time Parliament: dasar-dasar Paxos.
• Paxos Made Simple: penjelasan sederhana tentang Paxos.
• Paxos Made Live: sudut pandang engineering terhadap Paxos.
• Revisiting the Paxos Algorithm: meninjau ulang algoritma Paxos.
• How to build a highly available system with consensus: membangun sistem highly available dengan konsensus.
• Reconfiguring a State Machine: rekonfigurasi state machine.
• Implementing Fault-Tolerant Services Using the State Machine Approach: implementasi layanan fault-tolerant dengan pendekatan state machine.

Makalah konsensus lainnya

• Mencius: membangun replicated state machine yang efisien untuk WAN.
• In Search of an Understandable Consensus Algorithm: versi diperluas dari algoritma RAFT.

Protokol gosip (Epidemic Behaviours)

• Kekuatan protokol komunikasi berbasis gosip.
• Astrolabe: teknik pemantauan sistem terdistribusi dan data mining.
• Epidemic Computing at Cornell: komputasi epidemik di Cornell University.
• Fighting Fire With Fire: melampaui batas skalabilitas dengan gosip acak.
• Bi-Modal Multicast: multicast dua mode.
• ACM SIGOPS Operating Systems Review: jaringan berbasis gosip.
• SWIM: protokol keanggotaan process group bergaya infeksi dengan weak consistency yang dapat diskalakan.

P2P

• Chord: protokol lookup peer-to-peer yang dapat diskalakan untuk aplikasi internet.
• Kademlia: sistem informasi peer-to-peer berbasis metrik XOR.
• Pastry: lokasi objek terdistribusi dan routing untuk sistem peer-to-peer skala besar.
• PAST: utilitas penyimpanan peer-to-peer persisten skala besar yang dibangun di atas Pastry.
• SCRIBE: infrastruktur multicast level aplikasi terdistribusi skala besar yang dibangun di atas Pastry.

Ringkasan GN⁺

• Sistem terdistribusi adalah bidang yang menuntut perubahan cara berpikir untuk menyelesaikan masalah yang kompleks.
• Beragam materi dan makalah ini memberikan pemahaman mendalam tentang perancangan dan implementasi sistem terdistribusi.
• Daftar ini membahas berbagai aspek sistem terdistribusi, terutama memberikan wawasan tentang model konsistensi dan masalah latensi.
• Ini dapat menjadi materi yang berguna bagi pengembang atau peneliti yang tertarik pada sistem terdistribusi.
• Proyek dengan fungsi serupa yang direkomendasikan mencakup Apache Kafka dan Apache Cassandra.