- Kinerja Pull Requests menurun dan seluruh pull request yang telah diindeks mungkin tidak terlihat di halaman
/pulls dan /repo/pulls
- Saat ini cluster Elasticsearch belum memuat semua dokumen terindeks, tetapi data pull request itu sendiri tidak hilang dan akan diindeks ulang saat ada pembaruan
- Pekerjaan reindexing untuk indeks yang tersisa dan percepatan full reindex guna memulihkan seluruh hasil sedang berjalan bersamaan, dengan prioritas pada akurasi dan menghindari dampak tambahan
- Pada tabel status komponen, hanya Pull Requests yang ditandai sebagai mengalami penurunan, sementara Git Operations, Webhooks, API Requests, Issues, Actions, Packages, Pages, Copilot, Codespaces, dan Copilot AI Model Providers berstatus Operational
- Riwayat terbaru juga memuat berbagai insiden dan tindakan pemulihan seperti penurunan pencarian, kegagalan job Actions, kegagalan memulai sesi agen Copilot, regresi merge queue, keterlambatan Projects, dan kegagalan koneksi Codespaces
Status gangguan saat ini
- Pull Requests sedang mengalami penurunan kinerja dan diumumkan melalui entri Incomplete pull request results in repositories
- Di halaman
/pulls dan /repo/pulls, tidak semua pull request yang telah diindeks mungkin terlihat
- Saat ini tidak semua dokumen terindeks ada di cluster Elasticsearch
- Data pull request itu sendiri tidak hilang
- Pull request akan diindeks ulang saat diperbarui
- Percepatan full reindex juga sedang dilakukan untuk memulihkan seluruh hasil
- Indeks Elasticsearch yang tersisa sedang diindeks ulang, dengan prioritas pada akurasi dan menghindari dampak tambahan
- Pendekatan yang hati-hati untuk backfill data secara aman tetap dipertahankan
Status komponen
- Pada tabel status saat ini, hanya Pull Requests yang ditandai
Degraded Performance
- Komponen utama lainnya berstatus
Operational
- Git Operations
- Webhooks
- API Requests
- Issues
- Actions
- Packages
- Pages
- Copilot
- Codespaces
- Copilot AI Model Providers
- Uptime 90 hari terakhir juga disediakan
- Pull Requests 99.58% uptime
- API Requests 99.95% uptime
- Packages 99.97% uptime
- Copilot AI Model Providers 100.0% uptime
Halaman status per wilayah dan jalur berlangganan
- Halaman status per wilayah untuk GitHub Enterprise Cloud juga disediakan secara terpisah
- Kanal berlangganan notifikasi status juga tersedia
Riwayat gangguan terbaru
-
28 Apr gangguan pada sebagian layanan GitHub
- Entri Disruption with some GitHub services telah diselesaikan
- Pada job hosted Ubuntu Actions terjadi keterlambatan mulai dan kegagalan
- Sebagian eksekusi
ubuntu-latest dan ubuntu-24.04 mengalami keterlambatan atau gagal
- Pada satu waktu sekitar 5% job terdampak, lalu turun menjadi kurang dari 2%, kemudian kurang dari 1%
- Masalah yang menghambat eksekusi Actions telah dimitigasi, dan akhirnya dipulihkan ke operasi normal
-
27 Apr penurunan pencarian GitHub
- Entri GitHub search is degraded telah diselesaikan
- Masalah koneksi Elasticsearch dan beban tambahan menyebabkan kegagalan pencarian dan masalah di beberapa sublayanan sekaligus
- Issues, Pull Requests, Packages, dan Actions terdampak
- Terjadi kegagalan workflow run, kegagalan memuat projects, dan search timeout
- Setelah sumber beban tambahan diblokir, tanda-tanda pemulihan muncul dan kemudian beralih ke pemantauan stabilisasi
-
27 Apr gangguan sesi Codex di Copilot Cloud Agent
- Entri Disruption with some GitHub services telah diselesaikan
- Di Copilot Cloud Agent terjadi kegagalan memulai sesi agen Codex
- Sesi tidak dapat dimulai dari semua titik masuk, termasuk penugasan issue dan mention komentar
@copilot
- 0.5% dari seluruh pekerjaan Copilot Cloud Agent terdampak, sekitar 2.000 job gagal
- Sesi agen Copilot lainnya tidak terdampak
- Penyebabnya adalah model resolution mismatch pada sesi agen Codex sehingga model yang tidak kompatibel terpilih saat runtime
- Mitigasi diterapkan agar sesi agen Codex memilih model default yang stabil
Kasus utama yang memuat pengungkapan akar masalah
-
Regresi merge queue pada Pull Requests
- Incident with Pull Requests telah diselesaikan
- Saat menggunakan metode squash merge di merge queue, jika ada dua atau lebih PR dalam merge group, merge commit yang salah bisa dibuat
- Pada merge berikutnya, perubahan dari PR sebelumnya dan perubahan commit sebelumnya bisa ikut dibatalkan
- Selama periode terdampak, 2.092 pull request terkena dampak
- PR yang di-merge di luar merge queue dan sebagian grup yang menggunakan metode
merge atau rebase tidak terdampak
- Penyebabnya adalah jalur kode baru yang menyesuaikan perhitungan merge base diterapkan dengan feature flag gating yang tidak lengkap
- Perubahan kode dibatalkan dan dipaksa ter-deploy ke seluruh environment, dan prosedur pemulihan juga dikirim terpisah kepada admin repositori terdampak
- Setelah itu, cakupan pengujian kebenaran merge diperluas agar mencakup squash group dengan banyak PR
-
Claude dan agen Codex tidak bisa dimulai dari web
- Disruption with users unable to start Claude and Codex agent task from the web telah diselesaikan
- Dari github.com, task agen baru tidak dapat dimulai dengan agen Claude atau Codex
- Penyebabnya adalah perubahan kode routing task creation request di Copilot mission control
- Task agen yang sedang berjalan dan fitur agen Copilot lainnya tidak terdampak
- Perubahan bermasalah dibatalkan untuk pemulihan, dan pemantauan tambahan serta integration test sedang ditambahkan pada jalur pembuatan task
-
Pemrosesan @mention Copilot terlewat
- Disruption with some GitHub services telah diselesaikan
- Mention
@copilot di komentar pull request tidak memicu eksekusi Copilot coding agent
- Dari seluruh komentar pull request dan issue, sekitar 23.000 pemanggilan, atau 0.5% dari total, tidak diproses
- Pembuatan, pengambilan, dan balasan komentar itu sendiri tidak terdampak
- Penyebabnya adalah serialization error yang membuat event tidak bisa dipublikasikan ke downstream consumer
- Setelah perbaikan untuk memulihkan publikasi event diterapkan, pemrosesan kembali normal, dan peninjauan skema event terkait serta peningkatan pemantauan sedang dilakukan
-
Gangguan Copilot Chat dan Cloud Agent
- Disruption with Copilot chat and Copilot Coding Agent telah diselesaikan
- Di Copilot Chat dan Copilot Cloud Agent pada github.com terjadi error dan selama periode itu layanan tidak dapat digunakan
- Copilot Memory yang masih berstatus preview juga tidak bisa digunakan dalam sesi agen
- Penyebabnya adalah masalah koneksi database akibat perubahan konfigurasi infrastruktur
- github.com dipulihkan lebih dulu, lalu deployment wilayah lain dipulihkan secara bertahap
-
Keterlambatan layanan Projects
- Disruption with projects service telah diselesaikan
- Projects mungkin tidak tersinkronisasi atau lambat mencerminkan perubahan
- Keterlambatan penerapan perubahan sempat membesar hingga sekitar 45 menit
- Penyebabnya adalah serialization error yang memicu kegagalan event dan lonjakan resync, sehingga membebani lapisan pemrosesan event
- Mitigasi dilakukan dengan meningkatkan kecepatan pemrosesan perubahan masuk, lalu layanan dipulihkan sambil menghabiskan backlog
-
Penurunan pada pengaturan default code scanning dan Code Quality
- Partial degradation for code scanning default setup and for code quality telah diselesaikan
- Pada pull request baru, code scanning default setup dan analisis code quality tidak terpicu
- Masalah baru yang dibuat juga tidak terlihat di project board
- Penyebabnya adalah serialization error yang membuat code scanning, analisis code quality, dan pembaruan project board tidak terpicu dengan benar
- Publikasi event untuk code scanning dan code quality telah dipulihkan, sementara sisi project board dipulihkan dengan perubahan kode tambahan dan reindex
- PR yang tidak diproses sebelum atau selama insiden memerlukan push baru agar analisis terpicu kembali
Kasus gangguan terbaru lainnya
- Disruption with some GitHub services
- Pengalaman web GitHub.com menurun, dan sekitar 1.5% permintaan web berakhir dengan error
- Pada beberapa waktu, sekitar 10% dari trafik web melambat atau gagal
- Penyebabnya adalah kejenuhan kapasitas komponen cache di salah satu wilayah data center
- Trafik dialihkan ke wilayah yang tidak terdampak dan deployment terbaru di-rollback untuk pemulihan
- Incident with Codespaces
- Koneksi GitHub Codespaces melalui editor VS Code gagal
- Sekitar 40% job start codespace gagal
- Koneksi SSH tidak terdampak
- Penyebabnya adalah gangguan pada upstream download service yang menghalangi unduhan VS Code Server yang diperlukan saat startup
- Dimitigasi dengan solusi sementara yang menggunakan jalur unduhan alternatif saat endpoint default menurun
- Disruption with some GitHub services
- Saat mengakses halaman Copilot Insights di GitHub Enterprise Cloud, muncul error 500
- Sekitar 709 pengguna terdampak, dengan total durasi dampak sekitar 5 jam 10 menit
- Penyebabnya adalah kegagalan autentikasi pada metrics pipeline dan perubahan tenant credential
- Alat diagnostik, pemantauan yang lebih rinci, dan penguatan alerting sedang dilakukan
1 komentar
Komentar Hacker News
Yang lebih bermasalah sekarang adalah kegagalan yang diam-diam
Misalnya ada puluhan PR, tapi yang muncul malah "There aren’t any open pull requests.", jadi jelas menyesatkan orang
Ini benar-benar terasa dekat buat saya
Beberapa bulan lalu $PARENT_CONGLOMERATE memaksa migrasi ke GitHub di seluruh organisasi di bawahnya demi sinergi dan efisiensi, dan sekarang giliran $DAYJOB pindah dari self-hosted GitLab
Sudah ada beberapa hal yang bikin kesal
Kebijakan IT terkait akun GH sangat tidak konsisten, jadi baik akun pribadi maupun akun lama yang dulu dibuat khusus untuk $DAYJOB sama sekali tidak bisa dipakai, dan kami harus membuat akun baru lagi yang sesuai aturan IT
Kami tidak memakai monorepo, jadi banyak memanfaatkan groups, tetapi di GitHub tidak ada padanan langsung untuk konsep itu sehingga namespace proyek harus ditata manual
Ditambah lagi sekarang ketersediaan GitHub juga begini
Jadwal rilis tim kami sensitif terhadap pendapatan, jadi mundur satu atau dua hari saja bisa menentukan apakah target bulanan tercapai atau tidak
Dalam situasi lain kami mungkin sudah mencerminkan kode inti penghasil pendapatan lebih awal, tetapi rasanya tidak sepadan mengambil risiko untuk membuat jalur pintas gerilya seperti itu
Andai saja di postmortem dalam waktu dekat nanti kami bisa menyalahkan The Synergy Mandate, tetapi saya juga tahu itu realistisnya tidak akan terjadi
Saya cuma berharap kami tetap memenuhi target pendapatan dan produknya tidak dipangkas gara-gara performa buruk
Menulis ini justru makin membuat saya sadar betapa berbeda pekerjaan ini dibanding saat saya pertama kali bergabung
Saya ingin mengatakannya lagi ke semua proyek OSS
Dengan pekerjaan CI yang sederhana, sinkronisasi kode antar berbagai forge itu sangat mudah dilakukan, dan menerima notifikasi email dari forge kedua juga nyaris tidak menambah beban
Setidaknya harus ada opsi untuk berkontribusi di luar GitHub, dan pada akhirnya itu lebih baik bagi seluruh ekosistem
Di kebanyakan proyek, bahkan itu pun mungkin tidak terlalu esensial
Yang sulit adalah hal-hal di sekitar kodenya
ticket dan PR, termasuk riwayat yang sudah ditutup
Berbagai tautan yang merujuk ke proyek
Konfigurasi CI
Untuk proyek besar, pengaturan hak committer
Jika perlu, sampai aturan push/commit/branch juga harus dipindahkan semua
Hal-hal seperti ini sangat merepotkan untuk dimigrasikan per proyek, dan sebagian mungkin bisa hilang
Tapi masalah yang lebih besar adalah kehilangan platform utama untuk menemukan software
Kapan ya ada fediverse versi dunia software
Sampai sekarang GitHub Actions masih menjadi opsi terbaik, dan baik FSF maupun lab OSS lainnya belum mampu menyediakan CI yang layak bagi para maintainer open source
Selain itu, beban CI juga jauh lebih besar dibanding dulu
Sekarang saya merasa memang sudah saatnya serius mendorong alternatif
Ini mulai berdampak nyata pada bisnis kami, dan sama sekali tidak terlihat tanda-tanda akan membaik
Tinggal menerima batasan struktur org/repo
Kalau ingin pengalaman yang mirip tapi agak berbeda, GitLab cocok
Kalau ingin pendekatan yang lebih dekat ke dunia kernel, yaitu hosting dengan struktur repositori yang fleksibel, autentikasi pengguna berbasis ssh key, dan UI web yang sederhana, gunakan cgit di atas gitolite atau pakai gitweb
Baik Gitea maupun Forgejo sudah cukup kalau fiturnya sesuai kebutuhan
Kadang saya mampir ke thread gangguan GitHub cuma untuk tertawa, karena instance Gitea kami total downtime-nya selama beberapa tahun terakhir cuma hitungan menit, dan semuanya adalah upgrade terjadwal di tengah malam
Memang bukan salinan sempurna, tapi cukup dekat, saya melihat perbedaannya lebih seperti apel dan pir daripada jeruk dan apel
Hanya saja GitHub memang platform yang lengket, jadi kalau Actions dan berbagai integrasi sudah telanjur terpasang, sulit untuk pergi
Tetap saja, gangguan yang sesering ini sekarang sudah terasa agak konyol
Sepertinya ini bukan cuma masalah GitHub, melainkan gangguan yang lebih besar: https://downdetector.com
Hari ini juga berakhir dengan huruf y, jadi artinya lagi-lagi ada gangguan GitHub
Codeberg.org juga sedang bermasalah sekarang
https://status.codeberg.org/status/codeberg
https://social.anoxinon.de/@codebergstatus/11647770704799298...
Kalau tidak suka GitHub tumbang, dan juga tidak suka AI mencuri kode, sourcehut layak dicoba
Buat saya sangat cocok, dan saya berharap platform itu makin berkembang
Bukankah pada akhirnya itu juga hanya layanan terpusat lain
Yang kali ini terasa sangat lama
Saya jadi terbayang lelucon bahwa tim yang harus memperbaikinya terkena batas sesi Claude dan tidak bisa menyentuh apa pun sampai cooldown selesai, sementara satu-satunya orang yang masih tahu cara memperbaikinya tanpa AI sedang pergi untuk operasi
Saya juga jadi bertanya-tanya apa yang akan terjadi nanti saat generasi yang bisa memperbaiki semuanya langsung tanpa AI sudah pensiun semua
Setiap kali GitHub down, beberapa orang lagi pindah ke alternatif yang lebih etis, dan struktur komunitas FOSS yang menaruh SPOF pada satu Microsoft pun sedikit demi sedikit melemah
https://sfconservancy.org/GiveUpGitHub/
Kolaborasi jadi mudah, tetapi sekarang gesekannya makin besar karena berbagai alasan
issue juga makin sering dipakai seperti spam, dan bahkan aktivitas yang lebih jahat dari itu mulai makin terlihat