- Amazon S3 Files adalah fitur yang memungkinkan bucket S3 di-mount langsung sebagai sistem file berperforma tinggi sehingga bisa diakses langsung dari EC2, ECS, EKS, Lambda, dan lainnya
- Tetap mempertahankan daya tahan dan efisiensi biaya dari object storage, sekaligus memberikan akses file interaktif dan latensi rendah (~1ms)
- Mendukung protokol NFS v4.1+, menyediakan operasi file umum seperti buat·ubah·hapus file serta fitur sinkronisasi otomatis
- Memperkuat keamanan dan kontrol akses melalui integrasi IAM, enkripsi TLS 1.3, kontrol izin POSIX, serta dapat dipantau dengan CloudWatch dan CloudTrail
- Menyediakan fondasi untuk menghilangkan data silo dan memanfaatkan S3 sebagai hub data terpusat pada workload AI·ML·pemrosesan data
Pengenalan Amazon S3 Files
- Amazon S3 Files adalah fitur baru yang memungkinkan akses langsung ke bucket Amazon S3 seperti sistem file berperforma tinggi dari resource komputasi AWS
- Mengurangi batas antara object storage dan sistem file, sehingga tetap mempertahankan daya tahan dan efisiensi biaya S3 sambil menyediakan akses file interaktif
- Beberapa resource komputasi dapat berbagi data yang sama tanpa duplikasi, dan perubahan akan otomatis disinkronkan dengan bucket S3
- Mendukung latensi sekitar ~1ms dan protokol NFS v4.1+
- Memungkinkan akses data S3 dalam bentuk sistem file native dari berbagai layanan AWS seperti EC2, ECS, EKS, dan Lambda
Fitur utama dan cara kerja
- Sistem file menampilkan objek S3 sebagai struktur file dan direktori, serta mendukung operasi file umum seperti buat·baca·ubah·hapus
- File yang sering diakses di-cache di storage berperforma tinggi untuk latensi rendah, sementara file dengan pembacaan sekuensial berukuran besar di-streaming langsung dari S3
- Fitur byte-range read hanya mengirim bagian yang diminta sehingga mengurangi perpindahan data dan biaya
- Prefetching cerdas memprediksi pola akses untuk mengoptimalkan performa
- Dapat memilih apakah akan memuat seluruh file atau hanya metadata, sehingga memungkinkan kontrol cache yang lebih rinci
Arsitektur internal dan performa
- Secara internal dibangun di atas Amazon Elastic File System (EFS) dan memberikan latensi sekitar 1ms untuk data aktif
- Mendukung akses bersamaan dari beberapa resource komputasi dan mempertahankan model konsistensi NFS close-to-open
- Cocok untuk pekerjaan berbagi berbasis file seperti kolaborasi agen AI, pipeline pelatihan ML, dan workload pemrosesan data
Contoh penggunaan di EC2
- Setelah menyiapkan instance EC2 dan bucket S3 biasa, buat S3 file system dan konfigurasi mount target melalui konsol atau CLI
- Di EC2, mount dapat dilakukan dengan perintah berikut
sudo mkdir /home/ec2-user/s3filessudo mount -t s3files fs-0aa860d05df9afdfe:/ /home/ec2-user/s3files
- Setelah itu, data S3 dapat dimanipulasi langsung dari direktori
~/s3files menggunakan perintah file standar
- Saat file diubah, perubahan akan otomatis tercermin ke bucket S3 dalam beberapa menit, sedangkan perubahan di bucket akan tercermin ke sistem file dalam beberapa detik
Keamanan dan pengelolaan
- Terintegrasi dengan AWS Identity and Access Management (IAM) sehingga kontrol akses dapat diterapkan pada level sistem file maupun objek
- Data dienkripsi saat transit dengan TLS 1.3, dan saat disimpan menggunakan SSE-S3 atau kunci AWS KMS
- Menggunakan model izin POSIX untuk kontrol akses berbasis UID/GID
- Performa dan pembaruan dapat dipantau dengan Amazon CloudWatch, dan event manajemen dicatat melalui AWS CloudTrail
- Instance EC2 memerlukan paket amazon-efs-utils versi terbaru (sudah disertakan secara bawaan di AWS AMI)
- Bucket S3 juga dapat di-mount sebagai sistem file dengan cara yang sama di ECS, EKS, Fargate, Lambda, dan lainnya
Panduan memilih layanan
- S3 Files cocok untuk workload yang perlu mengakses data yang disimpan di S3 melalui antarmuka sistem file interaktif dan bersama
- Contoh: aplikasi produksi, agen AI berbasis Python, pipeline pelatihan ML, dan lainnya
- Amazon FSx cocok untuk migrasi lingkungan NAS on-premises atau saat membutuhkan fitur sistem file tertentu
- FSx for Lustre: storage berperforma tinggi untuk HPC dan klaster GPU
- FSx for NetApp ONTAP / OpenZFS / Windows File Server: digunakan saat membutuhkan kompatibilitas sistem file tertentu
Harga dan wilayah ketersediaan
- S3 Files langsung tersedia di semua region AWS komersial
- Komponen penagihan meliputi
- Volume data yang disimpan di sistem file
- Pembacaan file kecil dan semua operasi tulis
- Permintaan S3 yang terjadi saat sinkronisasi antara sistem file dan bucket S3
- Rincian harga dapat dilihat di halaman harga Amazon S3
Nilai pemanfaatan
- S3 Files membantu menghilangkan data silo, mengurangi kompleksitas sinkronisasi, dan menghapus perpindahan data manual antara objek dan file
- Memungkinkan pemanfaatan langsung data S3 pada workload AI·ML·rekayasa data yang menggunakan alat atau skrip berbasis sistem file
- Organisasi dapat menyimpan seluruh datanya secara terpusat di S3, lalu memanfaatkannya sebagai hub pusat yang dapat diakses langsung dari semua resource komputasi AWS
Belum ada komentar.