- Kasus ketika kesalahan konfigurasi jaringan VPC AWS dan NAT Gateway menyebabkan biaya transfer data S3 sekitar $900 hanya dalam satu hari, dan akumulasi bulanan melampaui $1.000
- Transfer dari EC2 ke S3 sering dikenal gratis, tetapi jika melewati NAT Gateway di dalam VPC, akan timbul biaya pemrosesan data berbayar
- Penyebab masalahnya adalah tidak adanya VPC Gateway Endpoint untuk S3, sehingga tidak ada pengaturan koneksi langsung ke S3 tanpa melewati NAT Gateway
- Gateway Endpoint gratis dan tidak menimbulkan biaya transfer data, serta bisa dikonfigurasi dengan mudah lewat Terraform dan alat serupa
- Ini menjadi contoh yang menunjukkan pentingnya pemantauan biaya dan pemeriksaan konfigurasi VPC Endpoint saat mengoperasikan infrastruktur AWS
Latar belakang masalah
- Geocodio menggunakan AWS untuk mencerminkan file data geospasial internal berukuran besar ke S3
- Datanya mencakup titik alamat, data batas wilayah, informasi sensus, dan lain-lain, dengan ukuran dari beberapa GB hingga ratusan GB
- Perlu sinkronisasi berkala dari platform ETL yang di-host di Hetzner ke infrastruktur pemrosesan AWS
- Tingginya biaya transfer data AWS adalah keluhan umum di industri; Cloudflare dan Corey Quinn juga pernah menyoroti masalah terkait
- Penulis meninjau struktur biaya sebelum memulai proyek dan memperkirakan biaya setelah memastikan bahwa
- transfer EC2–S3 dalam region yang sama gratis
- unggahan ke S3 (ingress) gratis
Munculnya biaya tak terduga
- Setelah proses sinkronisasi S3 diterapkan, muncul peringatan anomali dari AWS Cost Anomaly Detection
- Dalam satu hari, volume transfer data NAT Gateway mencapai 20,167.32GB, dengan biaya sebesar $907.53
- Akumulasi biaya bulanan sudah melampaui $1.000
- Dalam situasi ketika transfer EC2–S3 dianggap gratis, dilakukan penyelidikan mengapa biaya NAT Gateway tetap ditagihkan
Analisis penyebab: melewati NAT Gateway
- Saat menggunakan NAT Gateway di VPC, trafik ke S3 secara default juga dirutekan melalui NAT Gateway
- Bahkan untuk permintaan ke layanan AWS dalam region yang sama, jika melewati NAT, akan dikenakan biaya pemrosesan data $0.045 per GB
- Akibatnya, meskipun transfer antara EC2 dan S3 gratis, biaya NAT Gateway tetap ditagihkan
- Solusinya adalah membuat VPC Gateway Endpoint untuk S3
- Menghubungkan VPC langsung ke S3 tanpa melalui NAT Gateway atau Internet Gateway
- Sepenuhnya gratis, tanpa biaya per jam maupun biaya transfer
Proses penyelesaian
- Karena infrastruktur dikelola dengan Terraform, mereka menambahkan resource Gateway Endpoint dan menghubungkannya ke route table
- AWS lalu memperbarui routing secara otomatis sehingga trafik S3 dikirim ke Endpoint, bukan ke NAT Gateway
- Setelah itu, penagihan terkait NAT Gateway berhenti
Pelajaran dan rekomendasi
- Meski telah lama menggunakan AWS, biaya tetap muncul karena konfigurasi VPC Endpoint untuk S3 terlewat
- Jaringan AWS itu kompleks, dan struktur biaya bisa sangat berbeda tergantung cara konfigurasinya
- Rekomendasi untuk mencegah kejadian serupa
- Aktifkan AWS Cost Anomaly Detection: memungkinkan deteksi dini atas biaya yang tidak wajar
- Gunakan VPC Endpoint: penting saat mengakses S3 dan DynamoDB dari VPC yang memakai NAT Gateway
- Verifikasi asumsi: jangan hanya percaya pada asumsi “transfer EC2–S3 gratis”; lakukan uji skala kecil lalu pantau biayanya
- Cloud itu kompleks: bahkan pengguna jangka panjang pun perlu terus waspada
- Disebut juga kasus serupa dari Recall.ai yang membayar $1 juta per tahun untuk biaya pemrosesan data WebSocket
Tindak lanjut
- Geocodio meninjau jalur komunikasi S3 di semua VPC dan menyelesaikan konfigurasi Gateway Endpoint
- Pengguna AWS dianjurkan untuk memeriksa pengaturan VPC Endpoint
- Ringkasnya: NAT Gateway juga mengenakan biaya untuk trafik menuju layanan AWS, dan biaya ini bisa dihindari dengan menggunakan VPC Endpoint
Materi tambahan
Belum ada komentar.