Meta mendaur ulang RAM lama di server baru dengan chip bridge CXL khusus

 (theregister.com)
1 poin oleh GN⁺ 3 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Meta memasang memori DDR4 yang seharusnya dibuang ke server DDR5 baru, sehingga mengurangi jumlah server yang dibutuhkan hingga 25% untuk sebagian beban kerja inferensi terpisah
  • Sekitar 40% armada server tidak dapat diperluas memorinya, sementara memori dapat digunakan lebih lama daripada server, sehingga daur ulang DIMM menjadi cara penghematan biaya
  • ASIC internal Vistara menghubungkan DDR4 ke antarmuka PCIe Gen5 x16 yang kompatibel dengan CXL 2.0/1.1, sehingga mengatasi keterbatasan perangkat CXL yang ada dalam memanfaatkan kembali DDR4
  • MemServer berbasis Vistara menggabungkan AMD Turin, DDR5 768GB, dan DDR4 256GB, serta menampilkan DDR4 ke OS sebagai node NUMA terpisah tanpa CPU
  • Memori ekspansi CXL mengurangi 33% overhead kegagalan pekerjaan dan restart akibat OOM serta fragmentasi sumber daya, sehingga menurunkan beban operasional infrastruktur skala besar

Latar belakang penggunaan kembali DDR4

  • Meta membangun pool memori bersama dengan memasang DDR4 DIMM yang diambil dari server lama ke server baru
  • Sekitar 40% armada server tidak dapat diperluas memorinya, sehingga sulit menangani sebagian beban kerja
  • Usia pakai server yang diharapkan adalah 3–5 tahun, sedangkan memori masih dapat digunakan secara efektif selama 7–10 tahun
  • Perbedaan usia pakai ini menjadikan penggunaan kembali memori dari server lama di sistem baru sebagai cara meningkatkan efisiensi infrastruktur
  • Porsi server yang tidak bisa diperluas: {p:40}

Keterbatasan adopsi CXL dan peran Vistara

  • CXL memungkinkan berbagi memori di antara beberapa host, tetapi di lingkungan produksi, bandwidth rendah, latensi tinggi, dan overhead tambahan dalam pengelolaan hierarki memori dapat menjadi beban
  • Keterbatasan ini bisa makin menonjol saat berbagai teknologi memori digabungkan dalam satu sistem
  • Meta ingin mencampur beberapa jenis memori dalam satu mesin, tetapi perangkat CXL yang tersedia tidak sesuai dengan kebutuhannya
    • Sebagian besar solusi CXL menggabungkan DRAM dan controller menjadi satu, sehingga menyulitkan penggunaan ulang DIMM
    • Banyak yang tidak mendukung DDR4, sehingga tidak cocok untuk mendaur ulang memori lama
    • Konsumsi daya dan biaya juga menurunkan daya tarik adopsi
  • Untuk mengisi celah ini, Meta mengembangkan ASIC khusus Vistara

Konfigurasi ASIC Vistara

  • Vistara berperan sebagai bridge CXL yang menghubungkan memori DDR4 ke prosesor host
  • Antarmuka utamanya adalah PCIe Gen5 x16 yang kompatibel dengan CXL 2.0/1.1
  • Setiap ASIC Vistara memiliki konfigurasi berikut
    • 2 kanal memori DDR4 72-bit yang independen
    • Mendukung kecepatan hingga 3.200 MT/s
    • Mendukung hingga 256GB per chip saat menggunakan DIMM 64GB
  • ASIC ini dijalankan menggunakan 2 prosesor RISC-V khusus

Perangkat keras dan perangkat lunak MemServer

  • Perangkat keras Vistara dipasang dalam perangkat yang disebut Meta sebagai MemServer
  • Setiap MemServer menggabungkan elemen berikut
    • Prosesor AMD Turin
    • 158 core, 316 thread
    • Memori DDR5 768GB
    • DDR4 256GB yang terhubung melalui ASIC Vistara
  • Kartu CXL Vistara dipasang di slot khusus akses belakang di dalam sasis MemServer
  • Untuk menangani beban panas dari memori berdensitas tinggi dan perangkat CXL, sasis mengirimkan udara pendingin langsung ke modul Vistara melalui kipas berkapasitas besar dan aliran udara terarah
  • Dari sisi perangkat lunak, DDR4 ditampilkan ke OS sebagai node NUMA terpisah tanpa CPU, terpisah dari node DRAM lokal yang terhubung langsung ke prosesor
  • Platform Meta lebih dulu menggunakan DDR4 lokal yang tersedia, lalu memakai memori berbasis CXL saat diperlukan
  • Kode driver Linux CXL yang digunakan di Vistara sudah ada di kernel upstream atau sedang dalam proses untuk dimasukkan ke upstream

Penerapan produksi dan dampak operasional

  • Meta menerapkan konfigurasi CXL berbasis Vistara pada infrastruktur hyperscale berskala jutaan server
  • Beban kerja yang diterapkan mencakup hal-hal berikut
    • Inferensi ML terpisah, termasuk embedding table untuk sistem rekomendasi
    • Pemrosesan big data
    • Database
    • Cache terdistribusi
    • Sistem build CI/CD
  • Alat big data seperti Spark dan Hive menangani dataset berskala terabyte hingga petabyte, dan dapat membutuhkan ratusan GB memori per pekerjaan
  • Jika kejadian OOM terjadi pada beban kerja seperti ini, analitik bisnis inti dan pipeline ML dapat terganggu
  • Cadangan memori yang diperluas dengan CXL menurunkan risiko OOM, sehingga mengurangi 33% overhead terkait kegagalan pekerjaan, restart pekerjaan, dan fragmentasi sumber daya
  • Pada inferensi terpisah, efeknya berupa pengurangan jumlah server hingga 25%
  • Meta juga memperoleh manfaat dengan menghindari harga memori yang tinggi
  • Penurunan overhead operasional: {p:33}
  • Pengurangan jumlah server untuk inferensi terpisah: {p:25}

Bacaan terkait

1 komentar

 
GN⁺ 3 jam lalu
Opini Hacker News

  • Di bagian awal Neuromancer karya William Gibson, tokoh utamanya mencoba menjual RAM 3MB di pasar bawah tanah, dan ini sering dikutip sebagai contoh buku yang tidak tahan terhadap perubahan zaman
    Namun melihat arah pasar memori saat ini… mungkin saja kita yang belum sampai ke sana

    • Para ilmuwan komputer awal benar-benar optimistis. Mereka percaya bahwa hanya dengan RAM beberapa KB dan CPU beberapa MHz, apa pun bisa dilakukan, mulai dari kecerdasan buatan, kesadaran, machine learning, bahasa, hingga sintesis suara
      Sekarang satu formulir web saja memakai RAM dalam satuan GB. Anggapan Gibson bahwa RAM 3MB cukup untuk satu kesadaran di ruang siber memang sangat optimistis, tetapi sangat sesuai dengan suasana saat itu
    • Sejak mulai memperhatikan komputasi, beberapa kali saya berpikir bahwa kemajuan yang paling mengesankan adalah kapasitas memori. Jaringan atau USB juga merupakan kemajuan besar, tetapi tidak membuat komputer menjadi “cepat” dengan cara yang sama
      Pada tahun 2000, ketika Diablo II baru saja keluar, saya bisa meminjam komputer dengan Pentium III 450MHz dan RAM 64MB. Saat itu RAM 64MB kira-kira kelas menengah dan bukan spesifikasi yang vanzelfsprekend. Seingat saya, Diablo II merekomendasikan 64MB untuk single-player dan 128MB untuk multiplayer
      Komputer yang saya pakai untuk menulis ini memiliki RAM 64GB, jadi 1024 kali lipat. Sebaliknya CPU-nya adalah Intel 20-core dengan maksimum sekitar 3GHz, dan bahkan jika diasumsikan tiap core berjalan pada kecepatan maksimum secara bersamaan, peningkatan kinerja CPU hanya sekitar 133 kali
      Waktu baca NVMe mungkin sama pentingnya, atau bahkan lebih penting, dibanding peningkatan kapasitas memori, tetapi di tabel spesifikasi PC hal itu tidak tampil di depan seperti memori dan CPU
      Peningkatan kapasitas hard disk juga memang semengesankan RAM. Pada tahun 2000 kira-kira 10–30GB, tetapi sekarang saya tidak memakai disk 10TB karena tidak membutuhkannya, dan 1TB sudah cukup. Jadi secara pribadi dampaknya tidak terasa sebesar memori
    • Dalam sejarah awal komputasi, satuan memori belum benar-benar mapan, ukuran word juga berbeda-beda tergantung arsitektur hardware, dan tidak selalu habis dibagi 8
      Ukuran memori mesin-mesin seperti ini biasanya dinyatakan dengan ukuran word-nya. Misalnya, “mesin ini memiliki core memory 8 kiloword.” Jadi ketika melihat kapasitas memori yang terasa anakronistis di novel lama, saya menganggapnya sebagai saya saja yang tidak tahu ukuran word yang mereka gunakan
    • Jika itu RAM 3MB “panas” yang disimpan dalam termos kriogenik, itu lebih mirip cold boot attack, dan yang dijual bukan RAM-nya melainkan datanya
    • Mengatakan karya itu ketinggalan zaman karena alasan itu cukup mencari-cari kesalahan. Hamlet tidak punya ponsel, tetapi saya tetap menganggapnya drama yang hebat
      Walau satu panggilan FaceTime singkat mungkin bisa mencegah tragedinya

  • Saya tidak mengerti kenapa tidak langsung menuju artikel asli yang lebih rinci
    https://www.theregister.com/systems/2026/06/29/zuck-saves-me...

    • Tautan paper aslinya adalah https://aisystemcodesign.github.io/papers/isca26/vistara_cam...
      Jika dibaca sekilas, ini bisa dibayangkan mirip dengan memasang banyak DDR4 ke kartu PCIe dan memakainya seperti ruang swap. Dalam praktiknya lebih canggih karena protokol CXL, tetapi komprominya bisa dipahami seperti itu
      Sepertinya juga ada dukungan tingkat sistem operasi untuk memindahkan halaman hot/cold antara DRAM utama yang cepat dan DRAM ekspansi dengan latensi lebih besar
      DRAM punya umur pakai yang cukup panjang, sudah membawa emisi karbon tertanam yang signifikan dari proses produksinya, dan pada saat yang sama ada krisis pasokan DRAM baru; itu semua merupakan persoalan yang sangat masuk akal
    • Mengejutkan bahwa hal seperti ini ditulis seolah-olah berkat “Zuck”. Sulit membayangkan dia benar-benar mengetahui detail seperti ini
    • Kalau yang dimaksud “artikel asli”, sepertinya yang ini dari situs saudara Register
      https://www.blocksandfiles.com/architecture/2026/06/26/panmn...

  • Sejak dulu saya penasaran kenapa pasar untuk “kartu PCI/PCI-X/PCIe murah yang bisa dipasangi banyak SIMM/DIMM lama atau sisa, memori satu-dua generasi sebelumnya, lalu dipakai sebagai swap/memori lambat/RAM disk” tidak pernah benar-benar besar.
    Jarang ada kasus ruang alamat motherboard diisi penuh dengan memori terbaru, dan kernel juga bisa diajari memori mana yang lebih diprioritaskan berdasarkan kecepatannya, jadi rasanya ini seharusnya bisa saja terjadi.
    Saya ingat pasar yang mencoba melakukan hal serupa dengan flash sempat terpukul karena masalah paten, tetapi detailnya sudah samar. Meski begitu, flash cache setidaknya menjadi pasar di kalangan pemain besar. Mungkin hal serupa juga terjadi di sini, atau mungkin itu hanya berlaku pada ceruk yang dulu saya perhatikan.
    [1] Saya tahu ada beberapa produk di bidang ini, tetapi kesannya tidak pernah meledak besar. Bisa saja saya salah.
    [2] Di NetBSD ini jelas mungkin. Saya pernah melakukannya langsung pada arsitektur seperti VMEbus, di mana konfigurasi dengan memori onboard yang kecil dan cepat bersama memori di sisi bus yang lebih lambat tetapi lebih besar cukup umum. Linux juga sepertinya memungkinkan ini berkat pekerjaan dukungan NUMA, tetapi saya belum pernah mengeceknya langsung.

    • Alasan tidak adanya pasar besar adalah karena memori baru tidak begitu mahal sampai-sampai biaya, risiko, dan batasan memakai memori lama di server baru menjadi layak ditembus.
      Sekarang situasinya berubah, sehingga orang mulai meninjau kembali ide ini.
    • Tidak persis sama, tetapi saya sedang membuat NAS box dari komponen lama. Sebagian besar RAM sisa saya adalah DDR4 SODIMM untuk laptop, jadi saya mencoba adapter SODIMM → DIMM desktop, tetapi hasilnya tidak bagus.
      Sistem hanya berhasil boot sekitar 1 dari 5 kali, dan apa pun pengaturan kecepatan memori yang saya ubah, tetap tidak stabil.
    • Saya ingat 30 tahun lalu ada kartu seperti ini yang mengubah 4 modul SIMM 30-pin agar cocok dengan slot SIMM 72-pin.
      https://www.ebay.com/itm/383521792853
    • DIMM generasi lama tidak semurah itu dan pasokannya juga terbatas. Produk generasi lama dikeluarkan dari produksi demi mengamankan kapasitas produksi chip baru.
      DDR2 sudah lebih mahal daripada DDR3, kemungkinan karena sudah tidak diproduksi lagi tetapi permintaan untuk penggantian atau upgrade memori pada hardware lama masih ada.
    • Sejauh yang saya pahami, perbedaan besar hari ini adalah CXL menambahkan koherensi cache di atas PCIe. Bisa saja saya keliru.
      Tanpa koherensi cache, kita harus jauh lebih berhati-hati soal bagaimana memori itu dipakai, dan pembahasan performanya juga menjadi rumit. RAM di atas CXL memang akan kalah performa dibanding RAM yang langsung terhubung ke memory controller CPU, tetapi semestinya tidak ada jebakan besar.

  • Jika tidak ingin merancang chip kustom, ada produk standar berupa chip ekspansi memori CXL.
    https://www.marvell.com/products/cxl.html

  • Bagian menarik dari “krisis RAM” kali ini adalah, seperti di bidang lain, ketika muncul masalah, berbagai pihak mulai mencari alternatif.
    Hasilnya, setelah krisis ini mungkin muncul ide atau jalan pintas menarik yang dapat menciptakan booming memori, mudah-mudahan juga berlaku untuk mesin lokal.
    Pertama, Apple sedang mempertimbangkan produsen baru dari Tiongkok, dan jika jaminan kualitasnya memadai, struktur pasokan-permintaan bisa berubah. (https://www.ft.com/content/f4ac5c92-03be-4499-b16a-017a7e9ee...)
    Kedua, perusahaan-perusahaan sedang mencari jalan pintas performa. Tiba-tiba single-channel juga jadi “cukup oke”? :)
    (https://www.gigabyte.com/press/news/2403)

    • RAM single-channel sekalipun jelas lebih baik daripada swap berbasis disk.
    • Akan bagus jika kita mulai merancang software lagi dengan mempertimbangkan batasan hardware.
    • Pada akhirnya, kebutuhan adalah ibu dari penemuan. Sepertinya ini salah satu konsep abstrak tertua dalam pemikiran intelektual.
      Ada kaitan yang erat antara kelangkaan sumber daya dan motivasi. Permintaan yang dibebankan model frontier terbesar pada RAM, SSD, dan GPU menjadi motivasi langsung untuk membuat LLM yang lebih kecil. Mirip dengan tekanan evolusi pada hewan agar menjadi lebih kecil dan memakai lebih sedikit makanan.
      Bahkan jika model-model kecil ini berhasil, selain mungkin pemrosesan video berkualitas tinggi, kemungkinan besar mereka tetap akan memakai RAM, SSD, dan GPU lebih banyak daripada aplikasi lain mana pun. LLM kecil dan pemrosesan video kelas atas tampaknya membutuhkan sumber daya yang mirip.
      Namun, karena sumber daya akan tersebar di seluruh pasar dengan cara yang lebih tradisional, siklusnya bisa menjadi tidak terlalu gila.
      Jadi, jalan keluar dari krisis siklus harga RAM/SSD yang dialami produsen—harga naik-turun antara kendala pasokan dan kelebihan pasokan akibat kapasitas produksi baru—tampaknya adalah mendanai riset LLM yang lebih kecil. Toh mereka akan menjual jumlah produk yang hampir sama, bahkan mungkin lebih banyak.

  • Saya berharap ini juga dibuat untuk konsumen. Saya punya cukup banyak RAM lama.

    • Dulu Gigabyte pernah membuat kartu tambahan RAM disk. Tidak persis sama, tetapi karena terlihat sebagai perangkat penyimpanan, itu bisa dipakai sebagai ruang swap oleh sistem operasi.
      https://en.wikipedia.org/wiki/I-RAM
    • Menambahkan RAM dengan cara seperti ini tidak persis sama dengan memperluas RAM sistem utama. Karena RAM terhubung lewat link keluarga PCIe, ia tidak berperilaku seperti RAM utama.
      Struktur semacam ini lebih cocok untuk server farm, di mana engineer bisa menyesuaikan dan melakukan tuning sesuai arsitektur.
      Ada juga kartu yang memakai RAM sebagai perangkat penyimpanan, tetapi karena harus dikonfigurasi seperti disk, kegunaannya sangat terbatas dan tidak populer.
    • Sistem konsumen terasa agak berbeda karena bandwidth kembali ke CPU tidak banyak.
      Melihat harga DDR4 bekas saat ini, mungkin lebih baik menjualnya saja dan membeli drive NVMe.

  • ServeTheHome sudah membahas controller ekspansi memori CXL pada Desember
    https://www.servethehome.com/hyper-scalers-are-using-cxl-to-...

  • Di makalahnya tertulis begini: “Solusi CXL kami mencapai peningkatan besar di berbagai workload, dan pada inferensi ML terdistribusi mengurangi jumlah server hingga 25%”
    Saya tidak paham bagaimana bisa memakai RAM yang lebih buruk tetapi pada workload yang sama jumlah server berkurang 25%

    • Karena ini bukan menggantikan RAM yang lebih baik, melainkan dipakai sebagai tambahan
    • Pada dasarnya CXL menambahkan RAM yang “lambat” di atas PCIe. Bukan pengganti

  • Menarik melihat bagaimana pasar elektronik konsumen akan berjalan dalam beberapa tahun ke depan. Perusahaan-perusahaan sekarang bertaruh bahwa karena kelangkaan RAM, konsumen akan mau membayar lebih mahal
    Namun karena semua biaya lain juga naik, sepertinya cukup banyak konsumen tidak akan membeli perangkat baru untuk sementara waktu. Ini bukan standar HN; perlu diingat tidak semua orang menerima gaji industri teknologi

    • Sepertinya saya juga lebih condong ke arah itu. Saya memilih untuk lebih sedikit berinteraksi dengan teknologi
      Semuanya makin lama makin bermusuhan sampai mencapai titik batas
    • Para pembuat sistem operasi perlu mendukung hardware lama lebih lama lagi
      Karena Microsoft mencoba memaksa hardware baru untuk Win11, Win10 pun sudah diperpanjang satu tahun lagi

  • Bagus, sekarang harga RAM bekas juga bisa meroket
    Semoga harga PC kembali setara harga sebuah mobil. Akan ada sangat banyak peluang monetisasi

    • Sudah begitu. DDR4 bekas berumur 5 tahun sekarang lebih mahal daripada harga barang barunya 5 tahun lalu