- Penyimpanan objek berskala besar pertama di cloud yang mendukung vektor secara native
- Dapat mengurangi biaya penyimpanan, unggah, dan kueri data vektor hingga 90%, serta menyediakan kinerja kueri subdetik
- Memperkenalkan konsep vector bucket dan vector index untuk mengoptimalkan penyimpanan dan pencarian data vektor skala besar bagi workload AI generatif seperti embedding AI dan RAG
- Terintegrasi dengan layanan AWS seperti Amazon Bedrock, SageMaker, OpenSearch, memungkinkan pengelolaan vektor dan pencarian real-time dengan keseimbangan biaya dan performa
- Mendukung berbagai skenario penggunaan seperti penyimpanan, pengelolaan, kueri, ekspor, dan integrasi data vektor dengan mudah melalui konsol, CLI, SDK, dan API tanpa perlu membangun infrastruktur
Apa itu Amazon S3 Vectors?
- Amazon S3 Vectors adalah penyimpanan khusus S3 baru yang dirancang untuk menyimpan dataset vektor berukuran besar dan menyediakan pencarian vektor cepat (semantic/similarity search)
- Dirancang agar data vektor (embedding), yang sering digunakan dalam AI generatif, dapat dikelola secara efisien
- Menyediakan tipe baru bucket S3 bernama vector bucket; setiap vector bucket dapat memiliki hingga 10.000 vector index, dan setiap index dapat menyimpan puluhan juta vektor
- Mendukung pemberian metadata (key-value) untuk setiap vektor, sehingga kueri dengan pemfilteran berdasarkan kondisi dapat dilakukan
Optimasi biaya, performa, dan fitur otomatisasi
- Biaya unggah, penyimpanan, dan kueri data vektor dapat dikurangi hingga 90%
- Bahkan saat data membesar, S3 Vectors melakukan optimasi secara otomatis untuk terus menjaga biaya dan performa
- Menyediakan metrik jarak Cosine/Euclidean, sehingga menghadirkan lingkungan pencarian yang fleksibel dan kompatibel dengan model embedding AI
Integrasi dengan layanan AWS dan infrastruktur AI
- Terintegrasi secara native dengan Amazon Bedrock Knowledge Bases dan dapat digunakan langsung dari SageMaker Unified Studio
- Dapat dihubungkan dengan OpenSearch Service, sehingga data jangka panjang/berfrekuensi rendah disimpan di S3, sementara pencarian berfrekuensi tinggi/real-time dapat dipindahkan ke OpenSearch (serverless vector collection)
- Cocok untuk berbagai aplikasi AI seperti sistem rekomendasi, RAG, analisis dokumen, dan rekomendasi yang dipersonalisasi
Cara penggunaan utama
Membuat vector bucket dan index
- Buat vector bucket dari menu Vector buckets di konsol
- Saat membuat bucket, opsi enkripsi dapat ditentukan (SSE-S3, SSE-KMS)
- Tambahkan vector index ke tiap bucket, lalu tentukan jumlah dimensi dan metrik jarak untuk tiap index
Menyisipkan dan mengueri data vektor
- Gunakan AWS CLI, SDK, REST API untuk menyisipkan dan mengelola vektor
- Buat embedding teks di Amazon Bedrock → lalu sisipkan vektornya ke S3 Vectors
- Contoh: setelah membuat embedding dengan
boto3, unggah data ke index menggunakan API s3vectors.put_vectors
- Gunakan metadata untuk menjalankan kueri berdasarkan kondisi seperti genre atau kategori
Integrasi dengan OpenSearch dan ekspor
- Gunakan Export to OpenSearch di konsol untuk memigrasikan S3 Vector index ke OpenSearch
- Koleksi serverless dibuat secara otomatis, lalu dapat diperluas untuk workload pencarian vektor dan analitik real-time
Fitur utama dan lingkungan yang didukung
- S3 Vector bucket menggunakan enkripsi default (SSE-S3), dengan dukungan tambahan opsi KMS
- Mendukung otomatisasi/penggunaan terprogram melalui CLI/SDK/REST API
- Region pratinjau yang saat ini didukung: US Timur/Barat, Eropa (Frankfurt), Asia (Sydney)
Integrasi dan skenario penggunaan
- Mendukung berbagai kasus penggunaan vektor lintas industri seperti RAG, memori agen, pencarian kemiripan/semantik, analisis dokumen cerdas, rekomendasi personal, analisis konten otomatis, dan lainnya
- Dapat membangun solusi AI berbasis vektor yang hemat biaya dan dapat diskalakan secara besar-besaran dengan integrasi ke ekosistem AWS seperti OpenSearch, SageMaker, dan Bedrock
Referensi dan materi tambahan
Belum ada komentar.