Mengapa Fastmail Menggunakan Perangkat Keras Miliknya Sendiri

• Baru-baru ini, diskusi tentang cloud repatriation semakin meningkat, yaitu kecenderungan perusahaan kembali dari cloud ke infrastruktur sendiri
• Fastmail mengoptimalkan operasinya dengan memakai server bare metal miliknya sendiri selama lebih dari 20 tahun
• Menggunakan perangkat keras sendiri memungkinkan optimasi biaya dibanding cloud:
  • Memahami pola penggunaan secara akurat untuk merencanakan pembelian perangkat keras secara jangka panjang
  • Pengalaman pemasangan dan operasional perangkat keras serta jaringan selama 25 tahun
  • Menyusutkan biaya dengan memanfaatkan perangkat keras selama 5-10 tahun

Perkembangan Perangkat Keras

• Server IMAP awal menggunakan RAID yang terdiri dari drive SAS 15k RPM dan drive SATA 7.2k RPM
• Menyimpan data email ke drive SAS berkecepatan tinggi, lalu memindahkannya ke drive SATA saat beban server rendah
• Sistem semacam ini didukung oleh Cyrus IMAP dan alat partisi terpisah

Transisi ke NVMe SSD

• Beberapa tahun lalu, Fastmail melakukan upgrade besar ke platform AMD 2U dan NVMe SSD
  • Performa dan kepadatan penyimpanan meningkat secara signifikan
• Karena keterbatasan pengontrol RAID, sistem berkas ZFS diperkenalkan
• ZFS menyediakan performa I/O yang unggul melalui model copy-on-write

Kompresi dan Penyetelan ZFS

• Dengan kompresi Zstandard, ruang data email berkurang sekitar 40%
• Menyesuaikan ukuran record ZFS untuk meningkatkan efisiensi kompresi lebih lanjut:
  • Pengurangan sekitar 40% secara bawaan pada record 128k
  • Pengurangan menjadi 42% saat diatur ke 512k

Enkripsi dan Integrasi ZFS

• Menggantikan enkripsi LUKS sebelumnya dengan enkripsi bawaan ZFS, sehingga kompleksitas sistem menurun
• Setelah 3 tahun, implementasi ZFS untuk semua server email, database, log, dan server cadangan telah selesai

Umur dan Reliabilitas SSD

• Memastikan umur dan reliabilitas SSD:
  • SSD untuk pusat data mencatat tingkat kegagalan yang sangat rendah selama 3 tahun
  • Lebih reliabel lebih dari 10x dibanding HDD

Perbandingan Biaya Penyimpanan

Penyimpanan Cloud

• Amazon S3: $252,000 per tahun
• Backblaze B2: $72,000 per tahun
• Kelebihan: penyimpanan tanpa batas, banyak pilihan penyedia
• Kekurangan: kompleksitas implementasi, kemungkinan kenaikan biaya yang berkelanjutan

Upgrade HDD

• Biaya upgrade HDD 24TB: sekitar $6,000 per server
• Kelebihan: penggunaan kembali perangkat keras yang sudah ada, biaya rendah
• Kekurangan: waktu pemulihan data meningkat, performa I/O kurang

Server SSD NVMe

• Server SSD 2U: $190,000 (kapasitas 1220TB)
• Kelebihan: I/O berkinerja tinggi, reliabilitas, hemat ruang dan daya
• Kekurangan: biaya awal tinggi

Pilihan dan Hasil Akhir

• Beralih ke server ZFS berbasis NVMe SSD:
  • Menjamin performa dan reliabilitas tinggi
  • Kompatibel dengan sistem yang sudah ada tanpa perlu pengembangan baru
  • Kecepatan transfer data: lebih dari 5GB/s

Kesimpulan

• Operasi perangkat keras sendiri tidak cocok untuk semua pihak, tetapi dapat meningkatkan penghematan biaya dan kontrol jangka panjang
• Fastmail mencapai stabilitas dan efisiensi biaya melalui perangkat keras miliknya sendiri

[colossus]

Saya juga penasaran apakah ketersediaan pada tingkat AZ juga bisa dijamin.

[spp00]

Secara jujur, perusahaan yang berjalan lancar tanpa memakai cloud dengan pola semacam ini biasanya termasuk salah satu dari dua jenis. Yang pertama adalah karena kualitas SDM-nya bagus sehingga benar-benar berjalan dengan baik, dan yang kedua adalah kasus di mana kualitas SDM-nya tidak memadai sementara ketersediaannya rendah dan keamanannya lemah, tetapi dianggap berjalan dengan baik. Di Korea, kasus yang kedua jauh lebih banyak.

Di luar profesi yang memang spesialis, Korea cenderung meremehkan manusia, jadi dalam kasus Korea seperti ini, lebih tepat menyerahkan pada CSP luar negeri yang memakai talenta bagus. Atau benar-benar berinvestasi dengan baik pada manusia....

Terus terang, jika jumlah pengunjung stabil, tidak memakai cloud memang bisa jadi lebih ekonomis, tetapi agar bisa berjalan dengan benar sekaligus memiliki high availability dan keamanan, perusahaan harus punya talenta yang mampu mengelola server fisik. Kalau tidak ada orang seperti itu, maka memang harus memakai cloud. Startup yang kekurangan kemampuan untuk merekrut talenta semacam itu pada akhirnya tidak tepat memakai cloud.

37Signals yang tidak memakai cloud juga menetapkan ambang gaji minimum dan sangat mengutamakan talenta, dengan batasnya 70 ribu dolar; karena kurs dolar naik, itu berarti lebih dari 100 juta won. Para pekerja IT di Korea biasanya menerima gaji yang di bawah ambang minimum 37Signals. Di sana, karena investasi SDM yang sangat besar untuk mengutamakan talenta, mereka punya talenta bagus yang mampu menjalankan on-premise, tapi karena biaya ke cloud terlalu besar, mereka akhirnya kembali ke bare metal. Mereka juga membuat sesuatu seperti Kamal. Tapi apakah perusahaan Korea punya kemampuan membuat sesuatu seperti Kamal? Kalau tidak mau berinvestasi pada manusia, lebih tepat memakai CSP seperti AWS. Bahwa on-premise tidak otomatis aman sudah terbukti lewat kasus peretasan Kadokawa.

[GN⁺]

Komentar Hacker News

• Alasan FastMail memakai perangkat keras sendiri adalah karena saat perusahaan didirikan pada 1999 pilihannya tidak banyak. Mereka menggunakan satu server Rackspace, dan biayanya saat itu sekitar $70 per bulan. Alternatif VPS atau SaaS hampir tidak ada.

  • Setelah Rob bergabung dan server mulai membesar, mereka mempertimbangkan colocation. IBM dan NYI menangani dukungan jarak jauh serta masalah perangkat keras dengan baik.
  • Setelah Bron bergabung, semuanya diotomatisasi. Mereka mengoperasikan sistem secara terjangkau sekaligus andal dengan Linux, alat open source, dan Perl.
  • Walaupun layanan cloud seperti AWS menjadi populer, mereka tetap lebih memilih server bare-metal karena harga dan kompleksitasnya.
  • Ada kekhawatiran ketergantungan terhadap SaaS semakin tinggi, namun mereka sedang merencanakan materi pembelajaran.

• Pergeseran ke cloud memang menarik. Sebagian besar orang tidak terlalu peduli mengelola hardware, tapi dari sisi biaya sistem sendiri lebih baik.

  • Pendapat yang mendukung cloud sepertinya dibuat untuk membujuk orang yang kurang paham aspek teknis.
  • Alasan mendukung cloud adalah biaya, privasi, keamanan, dan mencegah sentralisasi internet.
  • Pendekatan FastMail terasa tidak emosional, jadi saya menghargai. Sepertinya euforia terhadap cloud sedang menurun.

• Cloud terkait dengan shift-left di DevOps. Bukan bertujuan menekan biaya.

  • Pada hardware, provisioning sistem bisa lama, tapi di cloud bisa dilakukan dengan skrip sederhana.
  • Jika beban kerja bisa diprediksi dan ada budaya engineering yang mumpuni, cloud mungkin tidak diperlukan.

• Saya tidak percaya pada FastMail. Setelah mengakuisisi Pobox, layanan mereka gagal pada email forwarding. Permintaan pengembalian dana juga ditolak.

• Memperkenalkan BareMetalSavings.com. Bisa memperkirakan biaya keluar dari cloud.

  • Perlu berhati-hati karena enkripsi ZFS bisa jadi tidak stabil.

• Pendekatan FastMail menarik. Mereka menyoroti dua poin menarik tentang SSD.

  • SSD drive jauh lebih andal dibandingkan HDD.

• Saya menyukai transparansi FastMail dan keputusan yang logis. Biayanya sepadan untuk layanan email.

• Banyak yang berpendapat self-hosting lebih baik daripada cloud. Namun diskusi tentang cara mengoperasikan aplikasi bisnis secara efektif masih kurang.

  • Ada banyak fitur yang dibutuhkan untuk pengelolaan infrastruktur. Menggunakan SaaS bisa membuat tujuan infrastruktur on-premise menjadi hampa.

• Salah satu keuntungan memakai cloud adalah reliabilitas pada skala kecil.

  • Menggunakan AWS, dan untuk skala kecil, cloud adalah pilihan terbaik.

• FastMail adalah salah satu penyedia email terbaik. Antarmukanya intuitif dan responsif.

  • Saya beralih ke Protonmail, tetapi pengalaman menggunakan FastMail sangat baik sehingga saya mempertimbangkan untuk kembali.