Launch HN: Regatta Storage (YC F24) – Teknologi yang mengubah S3 menjadi sistem file cloud mirip POSIX lokal

• Pengenalan Regatta Storage

  • Regatta Storage adalah sistem file cloud baru yang menawarkan kapasitas tanpa batas, kinerja seperti lokal, dan sinkronisasi otomatis ke penyimpanan yang kompatibel dengan S3
  • Memungkinkan akses instan ke set data besar di S3 menggunakan alat seperti Spark, Pytorch, dan pandas
  • Pengguna dapat mencoba layanan ini secara gratis dengan membuat akun

• Latar belakang pengembangan

  • Pendiri mengembangkan Regatta berdasarkan pengalamannya membangun dan mengoperasikan penyimpanan cloud di Amazon EFS dan Netflix
  • Ia menyukai kesederhanaan dan skalabilitas EFS, tetapi di Netflix penggunaan EFS tidak banyak
  • Masalah performa muncul saat memindahkan beban kerja dari disk lokal ke NFS
  • Regatta dikembangkan untuk menyelesaikan masalah di pasar penyimpanan cloud yang tidak terselesaikan oleh block storage atau file storage

• Fitur Regatta

  • Sistem file cloud dengan skema bayar sesuai pemakaian yang secara otomatis diskalakan bersama aplikasi
  • Tersinkron otomatis dengan S3 dalam format file native, sehingga dapat terhubung dengan set data yang ada dan memakai data file langsung dari S3
  • Data yang tidak digunakan akan dihapus dari cache Regatta sehingga pengguna hanya membayar biaya penyimpanan S3
  • Sedang mengembangkan protokol file kustom yang memberikan performa seperti lokal untuk workload file kecil dan skalabilitas seperti Lustre untuk pekerjaan data terdistribusi

• Implementasi teknis

  • Pelanggan me-mount sistem file Regatta melalui NFSv3, dan instance caching terhubung ke bucket S3 milik pelanggan
  • Menyediakan performa baca dan tulis yang di-cache dalam sub-milidetik sambil mempertahankan konsistensi yang kuat
  • Operasi kompleks seperti mengganti nama direktori dapat dilakukan dengan cepat dan andal, lalu dipropagasikan secara asinkron ke bucket S3

• Kasus penggunaan dan harapan pengguna

  • Digunakan untuk membangun server notebook Jupyter tanpa server bagi peneliti AI
  • Digunakan sebagai lapisan caching terdistribusi di atas S3 untuk mengakses file bersama dengan latensi rendah
  • Menggantikan volume boot Ceph dan menghasilkan penghematan biaya
  • Menyambut masukan pengguna dan ide untuk arah pengembangan ke depan, serta menantikan pendapat dari komunitas

[GN⁺]

Komentar Hacker News

• Perbedaan antara Rclone dan Regatta Storage adalah saat melakukan operasi mutasi pada file system, Regatta menyediakan konsistensi kuat dengan menggunakan lapisan cache berkecepatan tinggi. Rclone tidak memiliki lapisan yang menjamin konsistensi antar klien paralel

  • Regatta Storage menyediakan konsistensi kuat dengan menggunakan lapisan cache berkecepatan tinggi saat melakukan operasi mutasi pada file system
  • Rclone tidak memiliki lapisan yang menjamin konsistensi antar klien paralel

• Ini tampak seperti salah satu produk paling keren yang keluar dari YC, dan ada beberapa pertanyaan tentang cara kerjanya

  • Penasaran apakah ada penurunan performa saat menangani data dalam kisaran 50GB pada disk lokal 10GB
  • Penasaran apakah bisa mendapatkan kecepatan tinggi juga di cloud lain selain AWS
  • Ada rasa ingin tahu tentang pendekatan yang menggunakan mount FUSE dan NFS
  • Penasaran apakah Clickhouse atau Postgres bisa dijalankan di volume Regatta
  • Penasaran dengan pandangan mereka tentang open source
  • Penasaran apakah bisa di-mount di beberapa server, dan apa batasannya

• Sedang meng-host DuckDB menggunakan GCP Filestore dan meminta informasi tentang harga serta performa Regatta

  • Meminta informasi harga dan performa untuk instance 10 TiB

• Tertarik sebagai disk backup untuk SQLite/DuckDB/parquet, dan ingin pembacaan yang di-cache dari penyimpanan NVMe lokal instance

  • Membutuhkan kemampuan locking dan shared memory yang tidak bisa didapatkan dari NFS
  • Bisa saja mengimplementasikannya langsung di user space, tetapi kalau begitu sekalian saja memakai S3

• Menganggap menggunakan NFS sebagai protokol adalah ide yang bagus

  • Pernah menulis file system terenkripsi dengan konsep serupa di IBM
  • Saat me-mount file system dan semua data "langsung ada", rasanya seperti sulap

• Ada kekhawatiran bahwa AWS mungkin akan menyalin produk ini dan menawarkannya dengan harga lebih murah

• Pernah berhasil melakukan demo di depan CEO Adobe pada 2008, di mana foto yang diambil dengan iPhone otomatis muncul sebagai file di Mac

  • Mengimplementasikan FUSE lokal yang berkomunikasi dengan object storage terdistribusi milik Adobe menggunakan FUSE
  • Mulai riset dan pengembangan sistem terdistribusi bersamaan dengan peluncuran Dropbox

• Penasaran apakah Lambda + SQLite + Regatta bisa digunakan untuk membangun storage SQL ACID real-time

• Tidak jelas bagaimana konflik pembaruan file ditangani

  • Misalnya, jika dua pengguna memperbarui file yang sama dari komputer berbeda, penasaran bagaimana hasil file akhirnya

• Ada alternatif terkenal seperti s3fs, rclone, goofys, dan lainnya