YTsaurus - Sistem Penyimpanan & Pemrosesan Skala Exabyte Open Source

• Platform big data open source untuk penyimpanan terdistribusi & pemrosesan yang dirilis oleh Yandex
  • Use case: pemrosesan batch, analisis ad hoc, OLTP, machine learning, penyimpanan metadata, pipeline ETL
• Ekosistem multi-tenant
• Keandalan dan keamanan: tanpa SPOF. Replikasi antarserver diotomatisasi. Pembaruan tanpa kehilangan progres
• Skalabilitas
  • Dapat diskalakan hingga 1 juta core CPU dan ribuan GPU
  • Mendukung lebih dari 10 ribu node. Scale up & down server secara otomatis
  • Mendukung berbagai media penyimpanan hingga data skala exabyte
• Fitur yang kaya
  • Model MapReduce yang luas
  • Transaksi ACID terdistribusi
  • Menyediakan berbagai SDK (C++, Python, Java, Go) dan API
  • Isolasi aman untuk resource komputasi dan penyimpanan
  • UI yang ramah pengguna
• CHYT powered by ClickHouse
  • Dialek SQL yang familier dan fitur serupa
  • Query analitik cepat
  • Integrasi dengan solusi BI populer (JDBC/ODBC)
• SPYT powered by Apache Spark
  • Alat untuk membangun proses ETL
  • Mendukung banyak klaster independen dengan berbagai ukuran
  • Migrasi yang mudah dari solusi yang sudah ada

[xguru]

Pengantar tentang sejarah open source itu sendiri dan teknologi yang digunakan secara internal: YTsaurus: Exabyte-Scale Storage and Processing System Is Now Open Source

• Disebutkan bahwa pengembangannya telah berlangsung hampir lebih dari 10 tahun.
• Menggunakan MapReduce sejak 2006, lalu menghadapi keterbatasan pada 2009 dan memulai proyek YT sejak 2010
• Cypress (Storage) + MapReduce + tabel K-V dinamis + YQL + CHYT + SPYT
• Kode server utama menggunakan C++