SSD menjadi sangat cepat, kecuali di cloud

• Selama beberapa tahun terakhir, SSD berbasis flash menggantikan hard disk untuk sebagian besar kebutuhan penyimpanan.
• SSD terdiri dari beberapa chip flash independen yang dapat diakses secara paralel.
• Throughput SSD terutama bergantung pada kecepatan antarmuka dengan host.
• Dalam enam tahun terakhir, transisi cepat dari SATA ke PCIe 3.0, PCIe 4.0, dan PCIe 5.0 membuat throughput SSD meningkat secara signifikan.
• Selain peningkatan kinerja, kapasitas per dolar juga meningkat.
• Perubahan ini dipicu oleh standar terbuka seperti NVMe dan PCIe, permintaan yang sangat besar, serta persaingan antar vendor.
• Saat ini, SSD pusat data PCIe 5.0 mencapai throughput baca maksimal 13 GB/s dan lebih dari 2,7 juta IOPS baca acak.
• Server modern memiliki sekitar 100 jalur PCIe, jadi satu server dapat memakai beberapa SSD dengan bandwidth penuh.

Kinerja SSD di cloud tertahan

• AWS EC2 merilis instans i3 yang memakai NVMe SSD pertama pada awal 2017.
• Saat itu, NVMe SSD mahal, dan memiliki 8 SSD per server dianggap hal yang signifikan.
• Namun setelah tujuh tahun berlalu, performanya tetap bertahan di sekitar 2 GB/s per SSD.
• Instans i3 dan i3en tetap menjadi opsi terbaik EC2 dari sisi IO/$ dan SSD/$.
• Selisih performa antara SSD yang ditawarkan vendor cloud dan SSD terbaru mendekati 10x pada throughput baca, throughput tulis, dan IOPS.
• Kemandekan ini di cloud berbanding terbalik dengan kemajuan besar di area lain.
• Contohnya, bandwidth jaringan EC2 meningkat drastis dari 10 Gbit/s pada 2017 menjadi 200 Gbit/s pada 2023.
• Ada beberapa spekulasi mengapa vendor cloud belum maju di sisi penyimpanan:
  • Teori bahwa EC2 sengaja membatasi kecepatan tulis di 1 GB/s untuk menghindari kegagalan perangkat.
  • Kemungkinan bahwa insentif untuk mengoptimalkan sistem kecil karena permintaan terhadap penyimpanan cepat tidak ada.
  • Teori bahwa jika EC2 meluncurkan instance storage NVMe yang cepat dan murah, struktur biaya layanan penyimpanan lain (EBS) bisa terganggu.
• Penulis berharap dapat segera melihat instans cloud dengan SSD berkecepatan 10 GB/s.

Opini GN⁺

• Meskipun teknologi SSD berkembang sangat cepat, ketidakmampuan penyedia layanan cloud mengikuti perubahan ini mencerminkan beragam kebutuhan pasar dan keterbatasan teknis.
• Kemandekan kinerja penyimpanan cloud dapat bertentangan dengan ekspektasi pengguna terhadap efisiensi biaya dan kualitas layanan, dan dapat memengaruhi daya saing di industri cloud.
• Tulisan ini memberi wawasan penting bagi pengguna dan penyedia cloud computing, menekankan tuntutan akan solusi penyimpanan yang lebih cepat dan kebutuhan akan kemajuan teknis.

[GN⁺]

Komentar Hacker News

• Diskusi tantangan teknis cloud

  • Di Google, ini dikerjakan sebagai masalah fundamental cloud. Ini merupakan faktor penting yang menentukan arah keputusan teknis orang.
  • SSD cloud terhubung lewat jaringan, yang memang tak terhindarkan. Namun jaringan terlalu besar dan lambat untuk menyajikan performa SSD lokal.
  • Pada hard drive ini bukan masalahnya, tetapi pada SSD menjadi masalah karena SSD jauh lebih cepat daripada jaringan.

• Penjelasan arsitektur AWS Nitro SSD

  • Dokumentasi dan blog AWS menjelaskan arsitektur AWS Nitro SSD. SSD tersebut terhubung secara fisik ke motherboard sistem utama lewat PCIe, tetapi secara logis terisolasi dari motherboard yang menjalankan beban kerja pelanggan.
  • Untuk memaksimalkan masa pakai SSD, firmware menangani proses yang disebut 'wear leveling'. Proses ini mencakup semacam garbage collection, dan SSD biasa dapat melambat pada waktu yang tidak dapat diprediksi saat beban tulis tinggi. AWS membangun database berbasis jurnal yang sangat canggih dan aman terhadap kegagalan daya ke dalam firmware SSD dengan memanfaatkan keahlian databasenya.

• Pengalaman terkait IOPS pada instance cloud

  • Angka 'provisioned IOPS' pada instance cloud sangat rendah, mengejutkan. Ini berarti banyak orang, terutama yang hanya berpengalaman dengan instance cloud, tidak tahu seberapa banyak performa yang bisa dimuat ke satu atau dua RU.
  • Kecepatan NVMe storage saat ini adalah salah satu kemajuan teknologi yang membuat kagum.

• Pendapat orang yang bekerja di OCI

  • OCI menyediakan drive NVMe yang lebih cepat di instance-nya. Model E4 Dense dipasangi Samsung MZWLJ7T6HALA-00AU3, yang mendukung 7000 MB/s baca sekuensial dan 3800 MB/s tulis sekuensial.
  • Kemungkinan besar AWS belum menawarkan NVMe yang lebih cepat saat ini karena tidak ada permintaan yang jelas. Ini tentu spekulasi, tetapi umumnya jika suatu permintaan belum cukup, upgrade bisa jadi tertunda lebih dari biasanya.

• Argumen untuk keluar dari cloud

  • NVMe modern dan jumlah core saat ini memberi argumen kuat untuk meninggalkan cloud. Karena kecepatan ini mendekati memori, data kemungkinan besar bisa ditempatkan di memori sehingga mengurangi kompleksitas.
  • Satu server yang kuat saja sudah cukup untuk caching/computing/serving, dan ini menyederhanakan banyak workload.

• Kritik terhadap optimasi cloud

  • Yang menjadi masalah bukan bandwidth, melainkan IOPS. Ketika menjalankan benchmark IO acak, perilakunya mendekati random IOPs dari RAID array spinning besar, bukan SSD.
  • Salah satu alasan sulitnya menganggap optimasi cloud secara serius adalah karena workload seperti database dan sejenisnya sering tidak dioptimalkan dengan baik sehingga biayanya bisa menjadi mahal.

• Diskusi tipe instance NVMe AWS

  • Beberapa tipe instance NVMe seperti i4i dan im4gn sudah diluncurkan, tetapi performanya tidak naik. Sudah 7 tahun sejak peluncuran i3 dan masih bertahan di 2 GB/s per SSD.
  • Pemasaran AWS mengatakan:
    • Sampai 800K IOPS tulis acak
    • Sampai 1000000 IOPS baca acak
    • Sampai 5600 MB/detik tulis sekuensial
    • Sampai 8000 MB/detik baca sekuensial

• Pilihan pribadi pada konfigurasi SSD hibrida

  • Menggunakan campuran X-25E 64GB dari 2011 dan PM897 3.7TB dari 2021 memberikan solusi paling kokoh sekaligus database terbesar dengan daya paling rendah.

• Spekulasi tentang pembatasan performa layanan cloud

  • Layanan cloud mungkin mempertahankan performa yang rendah karena permintaan kurang besar, yang memungkinkan 'trik' di lapisan virtualisasi.

• Pertimbangan biaya SSD

  • SSD paling cepat cenderung menggunakan teknologi MLC, yang umumnya memiliki umur tulis jauh lebih rendah dibandingkan teknologi lain.
  • Meningkatkan kerapatan data memang memudahkan peningkatan performa, tetapi karena penulisan dilakukan per blok/sel memori, ketika satu sel memburuk maka semua sel bisa rusak.
  • Memasukkan teknologi baru ke dalam stack dan meng-upgrade fleet secara cost-effective bisa menjadi masalah.