[NAVER] Berbagi pengalaman beralih ke server CPU sambil mempertahankan performa server model ML GPU (feat. torchserve)

 (medium.com)
3 poin oleh ninebow 2023-07-26 | 3 komentar | Bagikan ke WhatsApp
  • *Tulisan ini adalah penjelasan yang dibuat secara otomatis menggunakan GPT-4, sehingga mungkin mengandung informasi yang keliru. *
  • *Jika Anda menemukan informasi yang salah, mohon beri tahu melalui komentar! *

Pengantar

Tulisan ini membagikan proses tim pengembang Naver Place dalam mengalihkan server model ML dari GPU ke CPU. Peralihan ini bertujuan untuk mengurangi biaya server dan membuat operasional server lebih efisien.

Ringkasan

1. Peralihan server model dari GPU ke CPU

  • Tim pengembang Naver Place melakukan pekerjaan untuk mengalihkan server model dari GPU ke CPU. Tujuannya adalah untuk menekan biaya server dan membuat operasional server lebih efisien. Pekerjaan ini mencakup penggantian GPU yang digunakan untuk pelatihan model (training) dengan CPU.

2. Struktur server model

  • Server model secara umum terdiri dari tiga bagian: pelatihan model, server model, dan klien. Pelatihan model mencakup proses melatih model menggunakan dataset, server model meng-host model yang telah dilatih, dan klien mengirim permintaan ke server model serta menerima respons.

3. Peralihan dari GPU ke CPU

  • Peralihan dari GPU ke CPU mencakup beberapa tahap. Pertama, kode pelatihan model diubah agar dapat dijalankan di CPU. Setelah itu, server model dikonfigurasi agar bisa berjalan di CPU. Terakhir, kode klien diubah agar dapat mengirim permintaan ke server model yang berjalan di CPU.
  1. Hasil setelah peralihan
  • Setelah peralihan, biaya server berkurang secara signifikan dan operasional server menjadi lebih efisien. Selain itu, server model yang berjalan di CPU bekerja dengan baik tanpa penurunan performa dibandingkan server model yang berjalan di GPU.

Referensi

  • Naver Place Dev Blog
    • Blog ini membagikan berbagai proyek dan pengalaman tim pengembang Naver Place. Anda bisa mendapatkan lebih banyak informasi tentang pekerjaan peralihan dari GPU ke CPU yang disebutkan dalam tulisan ini.

Bacaan terkait

3 komentar

 
xguru 2023-07-27

Tulisan sudah saya revisi.
Jika ada kalimat peringatan di bagian awal tulisan, di Slack/Twitter yang akan terlihat hanya kalimat peringatan tersebut.
Jika memungkinkan, mohon letakkan ringkasan di bagian awal tulisan.
 
ninebow 2023-07-27

Ke depannya saya akan lebih berhati-hati. Terima kasih! :)