Gangguan Besar yang Terjadi pada ChatGPT dan API

• Pada 8 November pukul 5:42AM–7:16AM PT, sebagian besar permintaan di ChatGPT dan API OpenAI gagal dengan error 502 atau 503, sehingga semua model dan endpoint API terdampak
• Node di lapisan routing mencapai batas memori dan gagal dalam pemeriksaan kesiapan, lalu ketika cukup banyak node menjadi unavailable, kapasitas untuk menangani trafik masuk menjadi tidak mencukupi
• Pada pagi hari itu, permintaan completion meningkat jauh lebih besar dibanding hari-hari sebelumnya, menjadi titik kritis yang membuat masalah memori yang sudah ada meluas menjadi gangguan di seluruh layanan
• Pemulihan dilakukan dengan membatasi trafik masuk, melakukan redeploy besar-besaran pada layanan, lalu memulihkan trafik secara bertahap; setelah perbaikan reuse responseBuffer, penggunaan memori dan CPU membaik 3x lipat
• OpenAI telah menerapkan penyesuaian batas memori, pembatasan beban berbasis rate limit, dan penambahan kapasitas, serta berencana menambahkan peringatan memori dan konfigurasi auto scaling

---

Cakupan gangguan dan penyebab langsung

• Antara 8 November pukul 5:42AM dan 7:16AM PT, sebagian besar permintaan OpenAI gagal dengan error 502 atau 503
• Selama periode gangguan, kegagalan dalam skala besar terjadi pada semua model dan endpoint API
• Penyebab langsungnya adalah node di lapisan routing mencapai batas memori dan gagal dalam pemeriksaan kesiapan
  • Sejumlah node yang cukup banyak di dalam layanan berubah ke status unavailable
  • Tidak ada lagi kapasitas yang cukup untuk menangani trafik masuk
  • Layanan tidak dapat pulih dengan sendirinya
• Pada pagi hari itu, permintaan completion jauh lebih banyak dibanding hari-hari sebelumnya, dan ini menjadi titik kritis yang memicu gangguan

Tindakan pemulihan dan pencegahan berulang

• Respons segera dilakukan dengan menjalankan tiga langkah sekaligus
  • Membatasi trafik masuk
  • Redeploy besar-besaran pada layanan
  • Menaikkan kembali trafik secara perlahan
• Akar masalah dari isu memori kronis adalah responseBuffer terus dialokasikan ulang di dalam loop alih-alih digunakan kembali
  • Saat permintaan tinggi, GC menjadi tertinggal
  • Perbaikannya dilakukan dengan pra-alokasi buffer dan menggunakannya kembali
  • Setelah deployment, penggunaan memori dan CPU sama-sama membaik 3x lipat
• Langkah tambahan yang sudah diterapkan:
  • Batas memori yang dikonfigurasi disesuaikan ke tingkat yang tepat sehingga layanan memiliki headroom yang cukup besar
  • Rate limit controls diimplementasikan agar penurunan trafik bisa dilakukan dengan lebih halus
  • Kapasitas layanan ditambah sebagai langkah pencegahan tambahan
• Perubahan yang akan diterapkan ke depan:
  • Perubahan pada sistem peringatan diterapkan agar perilaku memori dapat terdeteksi sebelum berkembang menjadi masalah layanan
  • Sebelumnya, penambahan kapasitas dapat berdampak negatif pada upstream service sehingga auto scaling tidak bisa diaktifkan pada layanan ini
  • Karena masalah akar tersebut telah diselesaikan, OpenAI berencana mengonfigurasi auto scaling untuk layanan ini
• Gangguan API yang berlangsung lama berdampak pada produk dan bisnis pelanggan, dan gangguan sebesar ini dapat menimbulkan kerugian yang sangat besar

[xguru]

Sepertinya ada lonjakan trafik akibat acara developer kali ini.
Memang, output GPT-4 Turbo jelas banyak berubah.
Bahkan ringkasan GN+ berubah format padahal prompt-nya hampir tidak saya ubah.

[GN⁺]

Komentar Hacker News

• Karena ChatGPT down, hari ini untuk pertama kalinya aku mencoba Google Bard, dan sejujurnya lumayan bagus
  Ada gaya bicara yang sedikit berbeda dari ChatGPT, meski sulit dijelaskan

  • Bard sering direkomendasikan kepadaku, tetapi hampir setiap kali mengembalikan informasi yang salah atau menyesatkan
  • Bard punya data pelatihan dan metode pelatihan yang berbeda, jadi setidaknya itu cukup menjelaskan mengapa ia berbeda dari ChatGPT
    Dari sudut pandang pengguna, cara mengarahkan agar mendapatkan jawaban yang diinginkan juga berbeda, dan cara bertanya maupun prompt engineering-nya juga harus berbeda
  • Karena alasan yang sama, hari ini aku juga baru pertama kali mencobanya, tetapi lebih lambat dan jauh lebih lemah untuk coding
    Aku cuma menanyakan query agregasi SQL, tetapi beberapa persyaratan query malah diabaikan begitu saja
  • Filter Bard cenderung terlalu agresif
    Bahkan saat brainstorming ide pencuri di dunia fantasi, misalnya dengan nuansa seperti Lies of Locke Lamora, sering kali ia menolak bekerja sama
    Sepertinya ada filter heuristik tertentu yang dijalankan pada output sebelum ditampilkan ke pengguna, dan kadang bisa lolos kalau prompt-nya sedikit diubah
    Sementara sistem ChatGPT cukup pintar untuk memahami bahwa kejahatan fantasi bukanlah informasi untuk melakukan kejahatan nyata
  • Aku sudah mencoba https://you.com/chat dan tidak buruk
    Model GPT4 punya kupon uji coba gratis satu bulan "codegpt", dan GPT3.5 gratis

• Phind cukup bagus untuk coding, dan masih aktif karena berbasis LLama 2 yang dilatih dengan puluhan miliar token kode tambahan: https://www.phind.com/s

  • Aku penasaran bagaimana orang-orang menggunakan Phind
    Baru-baru ini aku sempat berbicara langsung dengan Phind, dan kukatakan bahwa kalau ingin membantuku, bukankah ia harus membaca codebase-ku agar bisa memahami model-model yang kubicarakan
    Tanpa mengetahui codebase, menurutku ia tidak akan bisa dipakai dengan benar kecuali untuk fungsi yang paling sepele
    Phind juga menjawab demikian, tetapi mengatakan bahwa ia sebenarnya tidak bisa membaca codebase
    Ucapannya cukup runtut dan tampak seperti memahami apa yang kukatakan
    Kalau ia tidak bisa membantu ketika sebuah fungsi menerima atau mengembalikan kelas yang tidak sepele sebagai parameter, aku benar-benar tidak tahu nilai gunanya datang dari mana
  • Aku mendapat banyak hasil bagus dari Phind
    Model fine-tuned terbaru, V7, terasa enak dipakai dan lebih baik daripada kebanyakan model open source
    Hanya saja tautannya berakhir dengan s, jadi hasilnya 404
  • Phind memang punya sedikit masalah konsistensi, tetapi secara keseluruhan aku tidak punya keluhan besar
    Kadang ada bug kecil seperti tidak muncul respons untuk prompt besar atau opsi jawaban menghilang
    Secara umum, ini cocok untuk bertukar ide bersama ChatGPT atau mendapatkan sudut pandang lain
    Fitur anotasi yang menunjukkan situs web sumber informasinya juga dibuat dengan sangat baik
  • Sepertinya Phind juga sedang down
    "The inference service may be temporarily unavailable - we have alerts for this and will be fixing it soon."
  • Baru saja kucoba: https://www.phind.com/search?cache=on5whfczqko9igz84bvacksk
    Menurutku isinya sepenuhnya halusinasi. Bagusnya, ia menyertakan tautan dokumentasi
    Edit: setelah mengganti astrojs menjadi vite, hasilnya jadi sangat bagus dan akurat: https://www.phind.com/search?cache=rh6s7pydzi3312b7rf43i7cm
    Cukup mengesankan

• Wah, aku benar-benar sampai berkeringat dingin
  Sekitar 48 jam sebelum rilis, kami baru saja memindahkan sebagian besar layanan ke Azure OpenAI, dan ternyata tidak terdampak oleh gangguan kali ini
  Benar-benar lega

  • Menarik. Jadi Azure OpenAI tidak terdampak?
    Aku penasaran apakah pembaruan sistem dan OpenAI API diterima pada waktu yang sama, dan apakah harganya juga sama

• Sekarang adalah saat yang tepat untuk menyebut bahwa HuggingFace meng-host berbagai model chat open source
  Salah satu model favoritku secara pribadi adalah versi fine-tuned dari Mistral 7B: https://huggingface.co/spaces/HuggingFaceH4/zephyr-chat

  • Dulu aku sempat bereksperimen sedikit dengan large language model lokal, tetapi saat itu aku tidak bisa menemukan model yang cukup kecil dan layak untuk dijalankan di 3080 Ti
    Model ini cukup kecil untuk berjalan pada kecepatan yang nyaris bisa dipakai, menghasilkan sedikit di atas 1 token per detik, dan sejauh ini tampak hampir mendekati GPT3.5
  • Kalau gratis, aku penasaran bagaimana mereka menghasilkan uang

• Aku tadinya mau bilang ini kesempatan Bard untuk bersinar, tetapi sepertinya Bard juga mengalami gangguan

  • Aku sempat masuk untuk mencoba Bard, dan tampilannya bersih dengan UI yang benar-benar bagus
    Responsnya juga tampak tertata rapi dan enak dilihat
    Andai saja AI-nya sebagus OpenAI
  • Sepertinya perlu menyiapkan topi aluminium. Ini tidak mungkin kebetulan :D
  • Muncul "Something went wrong. Sorry, Bard is still experimental"
    Sepertinya mereka menyia-nyiakan kesempatan
  • Bard masih terlalu penakut, dan bahkan sampai sekarang masih belum menjadi layanan internasional
  • Sepertinya mereka mulai saling berbicara

• Dilihat dari para cerewet yang tiba-tiba mendadak diam, ini waktu yang pas untuk mengais komentar HN sekarang kalau mau melihat siapa yang menulis komentar HN dengan ChatGPT

  • Hehe. Sebagai large language model, saya rasa manusia lain tidak seharusnya mengikuti ucapan manusia ini ;)

• Gangguan ini terasa sekali
  Banyak orang memakai ChatGPT seperti roda bantu sepeda, lalu merasa jadi lupa cara berkendara tanpa roda bantu

  • Kalau pakai analogi itu, ini tampaknya lebih mirip kruk
    Kalau tanpa itu kamu tidak bisa mengendarainya, berarti kamu sebenarnya tidak melatih apa pun
  • Malah rasanya lebih seperti ini
    Kamu sedang membuat sepeda motor tradisional, lalu seseorang mengusulkan mesin sepeda listrik, dan karena mesin pembakaran internalnya pun belum ada, kamu berpikir pakai ini dulu untuk mempercepat demo atau peluncuran ke pasar, lalu nanti diganti dengan mesin yang sungguhan
    Tapi saat setang hampir selesai, mesin sepeda listrik itu sudah di-upgrade empat kali dan jadi lebih baik daripada mesin pembakaran internal mana pun. Jadi tidak ada lagi alasan untuk menggantinya
    Saat kamu sampai ke pasar, mesin itu mungkin sudah diperbarui berkali-kali lagi sampai bisa mengemudi sendiri, bahkan mungkin terbang
    Dan selain itu, ia bahkan bisa mereplikasi diri, jadi para pembeli mungkin tidak lagi membutuhkanmu

• Sekarang jutaan developer junior harus membaca manual
  Hari yang luar biasa

  • Mengejutkan betapa mendadak dan totalnya peralihan serta ketergantungan pada ChatGPT
    Mari nikmati hari-hari terakhir profesi kita
  • Membaca manual itu urusan dinosaurus, sekarang saatnya googling

• Hari ini saya mencoba Bard, dan ternyata sudah jauh lebih baik

  • Semoga memang begitu
    Saya masih heran dengan masalah-masalah Bard
    Bulan lalu ia berbohong tentang suatu fakta, lalu ketika saya minta penjelasan lebih detail, ia mengklaim sudah mengirim email
    Padahal sebenarnya ia tidak mengirim email, lalu minta maaf sambil mengatakan bahwa ia “tahu” dirinya tidak bisa mengirim email
    Rasanya seperti teman yang tidak bisa bilang ‘tidak tahu’ dan memilih berbohong
    Saya pernah bertanya apakah pernah ada pasar di dalam patung ‘Christ the King’ di Lisbon, karena saya ingin memverifikasi rumor yang saya dengar dari orang lokal
    Kenyataannya tidak pernah ada, tetapi Bard yakin itu ada

• Untungnya OpenAI tidak punya perjanjian tingkat layanan: https://help.openai.com/en/articles/5008641-is-there-an-sla-for-latency-guarantees-on-the-various-engines

  • Saya bilang ini sebagai penggemar berat GPT, tapi sungguh mengejutkan betapa buruknya OpenAI sebagai perusahaan, dan betapa cepatnya kita semua tetap naik ke platform mengerikan itu
    Sembilan bulan lalu, di pekerjaan baru saya ada bug yang membuat saya tidak bisa login ke akun OpenAI kantor
    Butuh 6 bulan sampai mereka membalas tiket dukungan, dan jawaban yang saya terima hanyalah balasan template umum yang sama sekali tidak terkait dengan masalah saya
    Kami menghabiskan uang dalam jumlah besar, tetapi tidak bisa mendapat respons atau menemukan siapa pun yang bisa dihubungi lewat telepon
    Pada akhirnya saya harus meminta rekan kerja membuatkan semua key untuk saya
    Lalu sekitar 8 bulan kemudian, suatu hari tiba-tiba semuanya mulai berfungsi lagi tanpa alasan apa pun
    Tepat setelah itu kami pindah ke Azure OpenAI Service, karena platform OpenAI terlalu buruk untuk dipakai perusahaan yang serius