S3 Express adalah semua yang Anda butuhkan

• Kelas penyimpanan latensi rendah baru AWS, "S3 Express One Zone", sedang menjadi sorotan di komunitas infrastruktur data
  • Kecepatan akses data 10x lebih cepat, biaya API request 50% lebih murah, dan mampu menangani jutaan request per menit
• Namun, kelas penyimpanan S3 Express 8x lebih mahal per GiB dibanding S3 Standard yang ada, sehingga tidak cocok sebagai penyimpanan "utama" untuk sistem data berskala besar
• Biaya operasi API memang 50% lebih murah, tetapi tidak sampai sangat murah, sehingga tetap tidak cocok untuk workload yang sebelumnya tidak praktis karena biaya API S3
• S3 Express mengenakan biaya per GiB untuk semua operasi API (tulis + baca) yang melebihi 512 KiB
  • Dengan kata lain, setiap operasi API mendapatkan bandwidth "gratis" sebesar 512 KiB, dan Anda hanya membayar saat melewati batas itu
• Namun, karena ini adalah kelas penyimpanan One Zone, sistem data harus mereplikasi data secara manual ke dua AZ untuk mengantisipasi kegagalan satu AZ
  • Biaya menulis data dua kali ke dua AZ mirip dengan biaya mereplikasi data secara manual di lapisan aplikasi

Peluang baru untuk infrastruktur data modern

• Kelas penyimpanan baru ini membuka peluang baru untuk menyesuaikan antara latensi rendah dengan biaya tinggi, atau latensi tinggi dengan biaya rendah, menggunakan arsitektur dan kode yang sama
• Semua sistem data modern kini tidak lagi perlu dirancang berdasarkan ketersediaan disk lokal atau block storage (EBS), dan dapat dibangun sepenuhnya di atas object storage
• Data dapat dengan mudah disimpan di bucket S3 Express berlatensi rendah lalu dipindahkan secara asinkron ke bucket S3 Standard, dan sebagian besar sistem data modern sudah memiliki kemampuan kompresi sehingga "storage tiering" pada praktiknya nyaris gratis

Opini GN⁺

Poin terpenting dari artikel ini adalah prospek tentang perubahan apa yang bisa dibawa oleh kelas penyimpanan baru AWS, S3 Express One Zone, ke infrastruktur data. Kelas penyimpanan ini menawarkan peluang baru yang dapat meningkatkan biaya dan kinerja sistem data secara drastis, dan hal ini berpotensi menghadirkan inovasi dalam cara data dikelola dan disimpan. Secara khusus, kemampuan untuk membangun semua sistem data dengan berpusat pada object storage akan menjadi opsi yang menarik bagi banyak perusahaan dan pengembang. Perubahan ini diharapkan akan membuat masa depan infrastruktur data menjadi lebih fleksibel dan lebih efisien dari sisi biaya.

[kuroneko]

Penasaran bagaimana ini akan digunakan.

[heycalmdown]

Karena baru kemarin saya mencari WarpStream lagi, saya lampirkan tautannya
https://id.news.hada.io/topic?id=10234

[GN⁺]

Opini Hacker News

• Sebagian besar sistem penyimpanan/database produksi berbasis S3 menghabiskan banyak upaya untuk membangun lapisan cache SSD/memori agar bisa menghasilkan performa yang layak.

  • S3 Express mendekati kecepatan baca acak HDD, sehingga sistem produksi bisa dibangun tanpa cache SSD.
  • Banyak sistem kemungkinan tetap akan mempertahankan cache SSD, tetapi MVP kini bisa dibangun tanpa cache SSD, dan latensi kueri dingin berkurang drastis.
  • Saat ini sedang membangun database vektor di atas object storage, jadi teknologi ini sangat tepat waktu.

• Biaya penyimpanan AWS S3 Express 8 kali lebih tinggi daripada S3 Standard, tetapi ini bukan masalah bagi sistem penyimpanan data modern.

  • Data dapat dengan mudah disimpan di bucket S3 Express berlatensi rendah, lalu dipindahkan secara asinkron ke bucket S3 Standard dalam keadaan terkompresi.
  • Sebagian besar sistem data modern sudah memiliki fitur kompresi, jadi "storage tiering" pada dasarnya gratis.
  • Diperkirakan akan ada masa depan di mana sebagian besar aplikasi intensif data menggunakan S3 sebagai lapisan penyimpanan utama.

• Beberapa minggu lalu, S3 Express diuji di mesin pencari Quickwit.

  • Dari sisi performa hasilnya memuaskan, tetapi mengecewakan dari sisi harga.
  • Untuk kasus penggunaan tertentu harganya mungkin masuk akal, tetapi diperkirakan sebagian besar pengguna akan menambahkan cache SSD lokal ke S3 yang ada.

• Sebagai konteks tambahan, warpstream sedang membangun sistem streaming kompatibel Kafka yang menggunakan S3 sebagai object store.

  • Ini memanfaatkan biaya transfer antar-zona yang murah dan storage tiering otomatis untuk menurunkan biaya operasional dan pemeliharaan sistem.
  • Latensi akibat kecepatan baca/tulis S3 sempat menjadi masalah, tetapi dengan S3 Express kini mereka bisa bersaing dengan produk terkelola Confluent Kafka pada aplikasi yang sensitif terhadap latensi.

• Masalah ini diselesaikan dengan melakukan cache ke Redis sebelum mengunggah file ke S3 dari lokal.

  • Saat codebase menggunakan file, sistem memeriksa Redis, dan jika tidak ada di sana maka file diambil lalu di-cache kembali.

• EFS jauh lebih unggul daripada S3, tetapi tidak paham mengapa ia tidak mendapat perhatian.

  • Sistem bisa me-mount-nya sebagai drive, membagikannya antar sistem, dan latensinya sudah sangat rendah.
  • Karena EFS sudah ada, tidak yakin seberapa bergunanya S3 Express sebenarnya.

• Penasaran apakah frasa "X is all you Need" pertama kali digunakan dalam makalah "Attention is all you need".

  • Makalah tersebut memperkenalkan Transformer kepada dunia.

• Jika ini adalah S3 berlatensi rendah yang ditulis dengan Rust, berarti setelah beberapa tahun pengembangan akhirnya dirilis.

• Penasaran apakah ada kasus penggunaan yang performanya akan meningkat dengan lapisan S3 Express baru ini, dan apakah biaya tambahan 8 kali lipat itu sepadan.

• Banyak implementasi S3 tampak sekadar seperti pengunduhan transparan ke disk, tetapi sebenarnya itu bukan berarti "menggunakan jaringan sebagai disk".