5 poin oleh GN⁺ 2024-02-11 | 1 komentar | Bagikan ke WhatsApp
  • Data egress adalah trafik yang keluar dari cloud, dan tagihan dapat membengkak dengan cepat ketika ada banyak transfer berukuran besar seperti unduhan atau perpindahan antar-cloud
  • Penagihan biasanya didasarkan pada volume transfer GB/TB bulanan, dan ingress yang masuk ke cloud umumnya gratis sehingga struktur biayanya tidak simetris
  • Untuk egress melebihi 1TB, Runpod, GPUhub, Civo, dan Lambda Labs gratis tanpa batas, sedangkan AWS naik hingga $90, Google Cloud $120, Vercel $150, dan Netlify $550
  • Nilai perbandingan dapat berbeda menurut wilayah dan kondisi, dan karena ini adalah estimasi dengan berbagai asumsi berdasarkan region yang dekat dengan North Virginia atau Frankfurt, harga terbaru perlu dicek
  • Untuk mengurangi biaya, pertimbangkan caching CDN, kompresi, pooling transfer, peringatan penggunaan, dan private networking dalam data center atau region yang sama, serta periksa juga biaya tambahan seperti NAT gateway

Cara penagihan data egress

  • Data egress adalah data yang meninggalkan jaringan, lebih tepatnya data yang keluar dari jaringan penyedia cloud menuju internet publik
  • Ini mencakup kasus ketika pengguna mengunduh data dari cloud atau mengirim data dari satu penyedia cloud ke penyedia cloud lain
  • Biaya umumnya dikenakan berdasarkan jumlah data yang dikirim ke luar jaringan
    • Satuan pengukuran biasanya berupa volume transfer GB atau TB per bulan

Perbedaan ingress dan egress

  • Dari sudut pandang penyedia cloud, transfer data dibagi menjadi dua jenis
    • Ingress: data yang masuk ke jaringan dan umumnya gratis
    • Egress: data yang meninggalkan jaringan dan umumnya dikenakan biaya
  • Ketika pengguna mengunggah file ke cloud storage, dari sudut pandang penyedia cloud itu adalah ingress
  • Ketika file yang sama diunduh, data keluar dari jaringan penyedia ke pengguna atau lapisan perantara seperti CDN sehingga biaya egress dapat dikenakan

Mengapa penyedia mengenakan biaya egress

  • Penyedia cloud menanggung biaya infrastruktur dan bandwidth untuk mengirim data ke luar jaringan
  • Kualitas jaringan dan struktur biaya dapat berbeda antarpenyedia
    • Beberapa penyedia mungkin memiliki perjanjian peering dengan ISP yang lebih baik atau infrastruktur jaringan yang lebih stabil
  • Biaya egress juga dapat digunakan sebagai mekanisme untuk menekan pola penggunaan yang dapat memenuhi jaringan, atau penggunaan yang terus-menerus memindahkan data dalam jumlah besar antarpenyedia cloud

Perbandingan biaya egress di atas 1TB

  • Biaya egress 1TB setelah melebihi kuota gratis sangat berbeda antarpenyedia
  • Ada juga penyedia yang gratis atau sebagian besar gratis
    • Runpod, GPUhub: gratis tanpa batas
    • Civo, Lambda Labs: gratis tanpa batas
    • Cloudflare: gratis pada sebagian besar layanan
    • Gcore: egress server gratis, CDN €0.030/GB setelah 1TB termasuk
    • Scaleway: gratis pada sebagian besar layanan, dengan batas bandwidth berdasarkan ukuran instance
  • Ada juga penyedia yang tergolong bertarif rendah
    • Hetzner: gratis 1–60TB per bulan per instance, 1TB tambahan sekitar $1.14 atau €1/TB
    • Akamai Cloud: gratis 1–20TB per bulan per instance, 1TB tambahan $5.00
    • Oracle Cloud: gratis 10TB per bulan, 1TB tambahan $8.50
    • Backblaze, DigitalOcean, Vultr: 1TB tambahan $10.00
  • Biaya tambahan 1TB pada cloud dan platform utama lebih tinggi
    • Azure: gratis 100GB per bulan, $87.00 untuk Premium network di North America
    • AWS: gratis 100GB per bulan, $90.00 untuk North America
    • Google Cloud: berbeda menurut layanan, $120.00 untuk Premium network
    • Vercel: gratis 100GB–1TB tergantung paket, $150.00 untuk Edge
    • Firebase: gratis 10GB per bulan, $200.00
    • Render: gratis 100GB–1TB tergantung paket, ditagih $30 per 100GB sehingga 1TB menjadi $300.00
    • Netlify: gratis 100GB–1TB tergantung paket, ditagih $55 per 100GB sehingga 1TB menjadi $550.00
  • Harga dapat berbeda menurut wilayah dan kondisi lainnya
    • Perbandingan didasarkan pada region yang dekat dengan North Virginia atau Frankfurt
    • Karena ini adalah estimasi dengan berbagai asumsi, informasi terbaru harus dicek di halaman harga masing-masing penyedia

Cara menurunkan biaya egress

  • Sebagian besar penyedia cloud memberikan sejumlah egress gratis setiap bulan
    • Bisa diberikan sebagai kuota untuk seluruh akun
    • Bisa juga dipool sebagai transfer bulanan per server sesuai jumlah server
  • Bergantung pada pola penggunaan dan pilihan penyedia, biaya egress dapat dihindari sepenuhnya atau diminimalkan
  • Dengan menggunakan CDN, aset statis dapat di-cache dan disajikan lebih dekat ke pengguna sehingga mengurangi jumlah data yang ditransfer langsung dari penyedia cloud ke pengguna
  • Kompresi adalah cara untuk menurunkan volume transfer dengan mengecilkan ukuran data sebelum dikirim
    • Gzip dan Brotli adalah algoritme kompresi yang representatif
  • Dengan memilih cloud yang menyediakan pool transfer data, kuota dari beberapa layanan dalam akun yang sama dapat digabungkan untuk digunakan bersama
  • Dengan mengatur peringatan penggunaan dan tagihan, Anda bisa menerima notifikasi ketika mendekati kuota gratis atau ambang tertentu
  • Saat menggunakan private network dalam data center atau region yang sama, egress transfer antarlayanan bisa jadi gratis
    • Namun, biaya NAT gateway atau biaya tambahan lainnya dapat berlaku sehingga perlu dicek

1 komentar

 
GN⁺ 2024-02-11
Opini Hacker News
  • Biaya trafik keluar (egress) menjadi alasan kuat bagi banyak organisasi untuk sementara waktu tidak sepenuhnya pindah ke penyedia cloud
    Berbeda dengan biaya storage, tidak tampak alasan biaya pokok yang jelas, dan rasanya aneh karena efeknya hanya membuat biaya pindah ke pesaing dalam beberapa kasus menjadi sulit ditanggung
    Misalnya, salah satu perusahaan tempat saya bekerja bergerak di bisnis pengiriman aset kreatif ke distributor, dengan trafik keluar sekitar 180TB per bulan dan rata-rata sekitar 500Mb/s
    Perusahaan ini mengoperasikan 2 rack di data center komersial, terhubung dengan 10Gb/s Ethernet-over-DWDM, dan di tiap data center ada uplink internet 2x512Mb/s dan 1x1Gb/s
    Di tiap rack ada 2 server OEM serbaguna dengan sekitar 64 core AMD Zen, RAM 1/2TB, NVMe sekitar 8TB, dan storage SAS RAID6 sekitar 100TB
    Penghematan biaya egress AWS saja sudah cukup untuk membenarkan konfigurasi ini, bahkan setelah memasukkan biaya engineer maintenance. Upaya operasional sebenarnya juga terbukti minimal
    Jadi saya penasaran apakah penyedia cloud sedang melewatkan pasar besar, atau margin yang mereka kenakan ke pelanggan saat ini memang cukup menguntungkan

    • Saya rasa efek yang lebih besar daripada “membuat biaya pindah ke pesaing sulit ditanggung” adalah mendorong layanan pihak ketiga masuk ke dalam cloud yang sama
      Bayangkan memakai AWS dan ingin menggunakan SaaS yang memindahkan data menengah hingga besar; misalnya ada opsi seperti https://www.snowflake.com/en/data-cloud/pricing-options/
      Menariknya, Anda bisa memilih antara AWS, Azure, dan GCP. Snowflake membayar mahal untuk di-host di atas cloud-cloud ini, lalu meneruskan biaya itu ke pelanggan
      Snowflake besar, punya banyak engineer, dan sudah mendukung ketiga cloud, jadi jelas netral terhadap cloud. Jika mengoperasikan fasilitas fisik sendiri, biayanya bisa jauh lebih murah, performanya juga mungkin lebih baik berkat NVMe, dan penghematannya bisa dibagi dengan pelanggan
      Namun alasan mereka tidak melakukan itu, menurut saya, adalah biaya egress dari pelanggan ke Snowflake akan meniadakan penghematan tersebut, dan volatilitas biayanya membuat pelanggan takut
      Pada akhirnya, cara pelanggan menghindari biaya egress itulah yang menghasilkan banyak uang bagi cloud besar. Regulator seharusnya menelaahnya dengan sangat cermat, tetapi dari sisi cloud ini keputusan bisnis yang luar biasa
    • Beberapa bulan lalu saya melihat insiden yang tragis sekaligus lucu. Sebuah perusahaan membuat solusi VPN selalu aktif yang di-host di AWS, menghubungkan 1.000 karyawan, lalu merayakan penghematan 50 ribu dolar dari solusi VPN
      Namun tagihan AWS bulan pertama untuk trafik keluar saja mencapai 25 ribu dolar, dan terungkap bahwa data keluar dari AWS sampai tiga kali
    • Jika masih ingin terus memakai sebagian layanan AWS, Anda bisa memasang cross-connect fiber AWS Direct Connect dari rack data center ke AWS
      Caranya seperti memasang koneksi internet, dan AWS mengoperasikan Direct Connect di banyak data center pihak ketiga yang carrier-neutral
      Egress AWS melalui Direct Connect adalah $0.02/GB, bukan $0.09/GB lewat internet publik
      Anda bisa melayani pelanggan dengan koneksi internet tanpa biaya, sementara di backend mengakses layanan seperti S3 lewat Direct Connect
    • Ini benar-benar bergantung pada kualitas peering yang diharapkan. Saat tidak ada masalah, itu tidak terlalu penting, tetapi ketika masalah muncul, dampaknya sangat terlihat
      ISP konsumen kadang berusaha keras untuk tidak melakukan peering dengan internet exchange terbuka, dan jika masuk ke wilayah dengan bandwidth lebih mahal, misalnya Oseania, situasinya jauh lebih rumit
      Ada alasan mengapa chart yang sering ditunjukkan sales Cloudflare untuk menjelaskan nilai produk adalah Argo Smart Routing, dan ada alasan pula mengapa biayanya sekitar 100 dolar per TB seperti AWS atau GCP
    • Ini cukup menguntungkan. Use case yang dijelaskan tidak terlalu langka, tetapi banyak perusahaan memang hanya membayar biaya egress
      Masalahnya adalah sudah muncul beberapa generasi software engineer yang tidak tahu bagaimana harga bandwidth ditetapkan
      Mereka hanya pernah memakai penyedia managed yang menagih per GB untuk ingress/egress beberapa sen saja
  • Artikel itu mengatakan “penyedia cloud mengenakan biaya egress karena mengirim data keluar dari jaringan mereka memerlukan biaya. Mereka harus membayar infrastruktur dan bandwidth yang diperlukan untuk mengirim data ke pengguna,” tetapi untuk pemain besar, tarifnya bukan berbasis biaya pokok
    Alasan mereka mengenakan biaya yang luar biasa tinggi adalah karena mereka ingin menahan pelanggan dan data di platform mereka. Memindahkan data berarti keluar dari sana, jadi biaya tinggi digunakan untuk menghambat perilaku tersebut

    • Pernyataan bahwa mereka “mengenakan biaya mahal untuk menahan pelanggan dan data di platform mereka” sama sekali tidak tepat
      Ada Bandwidth Alliance, dan banyak perusahaan cloud ada dalam daftar: https://www.cloudflare.com/en-gb/bandwidth-alliance/
      Jawaban sebenarnya jauh lebih kompleks. Misalnya, Google Cloud menawarkan dua kelas bandwidth: premium dan standard
      Perhitungan di artikel asli tampaknya mengasumsikan opsi default, yaitu premium, yang tentu saja jauh lebih mahal
      Bandwidth “premium” Google Cloud sangat mirip dengan AWS Global Accelerator karena menggunakan backbone Google sendiri selama mungkin, lalu keluar di titik peering terdekat antara ISP pengguna akhir dan Google
      AWS Global Accelerator juga punya opsi lain sehingga secara mendasar merupakan produk yang berbeda, tetapi karakteristik routing-nya lebih mirip bandwidth premium GCP daripada produk AWS lainnya
    • Struktur ini memaksa vendor downstream yang mengumpulkan banyak data, seperti Datadog dan Snowflake, untuk mempertahankan keberadaan mereka di cloud
      Karena pelanggan tidak ingin membayar biaya egress
  • Jika Anda pernah membayar mahal ke suatu penyedia cloud, lalu menyadari bahwa aplikasi Anda berjalan paling baik dan paling murah di penyedia web hosting umum yang sudah lama ada, sebaiknya biarkan uang dan data Anda tetap berada di webhost independen
    Setidaknya di Eropa, ada tren webhost kecil digabungkan menjadi pemain besar di bawah kelompok besar, mungkin di bawah arahan private equity. Mereka langsung menaikkan harga ratusan persen
    Dalam 3–4 tahun terakhir saya beberapa kali mengalami hal seperti ini di beberapa webhost di Belanda, dan yang paling baru tagihan bulanan di salah satunya naik dari sekitar 3 euro menjadi sekitar 18 euro
    Setiap kali membaca soal “biaya outbound”, biasanya saya tertawa. Data saya adalah data saya, jadi saya tidak paham kenapa harus membayar untuk mengambilnya dari hard disk saya sendiri
    Namun awan gelap mulai terlihat juga untuk use case saya. Dengan webhost yang satu demi satu dikonsolidasikan, meniru AWS dan menaikkan harga besar-besaran, lalu akhirnya bahkan membuat biaya outbound, itu kini tidak lagi sulit dipercaya

    • Benar sekali. Saya meng-host blog makanan WordPress istri saya di penyedia Belanda Neostrada, awalnya sekitar 50 euro per tahun
      Setelah diakuisisi, mereka mengirim email dengan kata-kata menjijikkan seperti “kami akan meningkatkan paket Anda agar sesuai dengan struktur harga baru”, dan dalam sekitar 2 tahun kami harus membayar 450 euro per tahun
      Kenaikan 9 kali lipat dalam beberapa tahun adalah langkah ala private equity paling tidak bermoral yang pernah saya lihat di Belanda, dan saya setuju dengan prediksi bahwa tinggal menunggu waktu sampai mereka menambahkan biaya outbound yang tidak masuk akal
    • Jika Anda percaya harga outbound itu palsu dan murni laba, saya sarankan coba jalankan sendiri layanan web hosting independen
      Anda akan menyadari bahwa bandwidth jaringan adalah sumber daya terbatas yang harus dibayar dan harus dialokasikan kepada pelanggan
      Cara termudah untuk membuat sesuatu yang secara keliru diharapkan pelanggan tak terbatas menjadi terbatas dan teralokasi adalah dengan mengenakan biaya, yaitu menetapkan harga yang memang dapat membatasi permintaan
  • Ada satu trik yang perlu diwaspadai. Meski penyedia cloud menawarkan outbound murah, mereka bisa membatasi kecepatan jaringan instance sehingga beban kerja dengan outbound besar menjadi mahal
    Banyak vendor membuat Anda memperbesar seluruh instance jika salah satu komponennya saja jenuh. Misalnya, meskipun tidak butuh CPU tambahan, untuk meningkatkan throughput jaringan Anda harus naik dari instance 2 CPU ke instance 4 CPU
    Di permukaan outbound terlihat murah dan harga instance juga tampak bagus dibanding hardware-nya, tetapi jika workload Anda tidak membutuhkan instance yang seimbang, misalnya rasio 1 CPU / 1 GB RAM / komponen lain, harganya bisa menjadi aneh

    • Menarik. Penyedia cloud mana yang Anda maksud?
    • Yang seperti Scaleway
  • Oracle Cloud hanya mengenakan sebagian kecil dari biaya yang dikenakan Google, Microsoft, dan Amazon
    Saya penasaran bagaimana Oracle bisa menjaga biaya serendah itu. Atau apakah penyedia lain menggelembungkan harga agar pelanggan tidak bisa pindah ke pesaing?
    Kalau begitu, Oracle pantas dipuji karena tidak menerapkan praktik vendor lock-in seperti ini

    • Penyedia besar menagih berlebihan 10–100 kali untuk outbound. Pernah ada tulisan terkait di blog Cloudflare
    • Hetzner mengenakan $1/TB, Oracle $7/TB, AWS $90/TB
      Kemungkinan besar Oracle pun masih punya margin yang cukup bagus dari biaya outbound
      Alasan biaya AWS/GCP/Azure tidak masuk akal adalah karena bagi banyak pelanggan ini bukan biaya besar saat operasi berjalan, tetapi membuat biaya memindahkan data keluar menjadi sulit ditanggung
      Bagi mereka, ini hanyalah mekanisme vendor lock-in
    • Margin outbound sangat tidak masuk akal. Oracle terlambat masuk ke pasar cloud dan sudah kehilangan banyak simpati di pasar bawah, jadi untuk mengejar ketertinggalan mereka harus mengorbankan margin itu
    • Biaya outbound adalah biaya artifisial. Itu bukan uang yang benar-benar dibayarkan penyedia cloud
    • Penyedia lain mengenakan biaya sebesar itu karena mereka menganggap orang-orang terlalu tidak tahu untuk protes dan akan membayarnya begitu saja
  • OVHCloud gratis: https://us.ovhcloud.com/public-cloud/faq/
    Sebagai perusahaan data, kami sangat diuntungkan oleh Scaleway, Hetzner, dan OVH
    Namun Scaleway tidak punya rencana menambah infrastruktur AS, dan saya tidak tahu apakah Hetzner punya kehadiran di AS

    • Hetzner memiliki lokasi AS secara terbatas hanya untuk produk mesin virtual, tetapi tidak ada solusi bare metal/server dedicated
    • Penyedia Eropa diuntungkan oleh biaya cross-connect pusat data yang rendah dan lebih banyak internet exchange untuk peering yang mudah
      Tidak mengherankan jika mereka bisa menyediakan bandwidth lebih besar dengan biaya yang sama
  • Produk ARM Hetzner menawarkan 2xvCPU, RAM 4GB, storage 40GB, dan outbound 20TB seharga 3,79 euro per bulan, jadi nilainya tak tertandingi untuk situs web kecil hingga menengah

    • Bukankah kekurangannya Hetzner tidak memungkinkan kita menetapkan batas untuk mengendalikan biaya trafik outbound?
      Seharusnya ada perlindungan dari apa yang disebut serangan penolakan dompet
  • Saya tidak tahu harganya segila ini. Saya bisa menaruh folder film 1TB di situs web Synology NAS yang tersambung ke internet Google Fiber dan membiarkan teman mengunduhnya gratis
    Tapi kalau situs web yang sama di-host di Google Cloud, mereka akan menagih $111.60? Saya tidak mengerti bagaimana penetapan harga seperti ini bisa terjadi

    • Anda bilang “membiarkan teman mengunduhnya gratis”, tetapi biaya koneksi fiber-nya sudah dibayar
      Dan di pusat data cloud, ada satu angka 9 tambahan dalam hal reliabilitas
    • IP Google Fiber adalah bagian dari jaringan residensial, dan memiliki perjanjian layanan yang sepenuhnya berbeda serta batasan yang lebih besar dibanding Google Cloud
    • Koneksi residensial biasanya punya semacam batas data keras. Misalnya jika Anda mentransfer lebih dari 10TB, mereka bisa saja memutusnya
      Secara umum menjalankan aplikasi komersial juga dilarang
    • Mereka tampaknya melihat bahwa sebagian besar situs web hanya beberapa MB, lalu menghitung bahwa untuk memeras biaya outbound dari mereka, tarifnya harus setinggi ini
    • NAS kecil tidak terhubung langsung ke ratusan wilayah metropolitan besar di seluruh dunia
      Google Fiber memang jaringan yang bagus, tetapi titik pertukarannya hanya beberapa puluh tempat di AS
      Jika Anda pelanggan Google Cloud, trafik outbound Anda berjalan melalui jaringan Google sampai ke edge di seluruh dunia, menggunakan ratusan titik interkoneksi dan exchange
      Kemungkinan trafik tetap berada di jaringan privat sampai mencapai dalam jarak beberapa mil dari pengguna akhir
      Ini lebih mirip membandingkan apel dengan berlian
  • Saya penasaran apakah perhitungan untuk Google Cloud menggunakan opsi Premium Networking atau Standard Networking
    Keduanya sangat berbeda. Jaringan standar lebih mirip dengan trafik keluar AWS, sedangkan opsi premium GCP menjadi default dan menggunakan PoP lokal serta dark fiber di backbone Google untuk terhubung sampai ke origin

  • Untuk Google Cloud, perlu diingat juga bahwa jika ingin keluar, Anda sebenarnya bisa bermigrasi tanpa biaya trafik keluar: https://cloud.google.com/blog/products/networking/eliminatin...
    Ini tidak mengubah biaya trafik keluar secara umum, tetapi kemungkinan besar merupakan solusi sementara agar tidak dituduh melakukan praktik antipersaingan

    • Sebagai koreksi, dengan syarat harus disetujui, Anda bisa mengajukan keluar dari Google Cloud, dan jika disetujui, Anda bisa keluar tanpa biaya trafik keluar
    • Bukankah Backblaze juga mengirimkan hard drive berisi data dengan syarat “prabayar”, lalu mengembalikan dananya jika drive tersebut dikembalikan?