- Fitur Code Review dirilis sebagai research preview, menugaskan tim multi-agent ke setiap PR untuk menemukan bug secara mendalam yang mudah terlewat oleh manusia
- Dengan produktivitas kode engineer Anthropic yang naik 200% selama setahun terakhir, code review menjadi bottleneck, dan banyak PR hanya dipindai sekilas alih-alih ditinjau secara mendalam
- Sebelum diterapkan, hanya 16% PR yang menerima komentar review yang substansial, tetapi setelah diterapkan angkanya naik menjadi 54%, sementara persetujuan PR tetap ditangani manusia
- Pada PR besar (lebih dari 1.000 baris), 84% memuat temuan dan melaporkan rata-rata 7,5 isu, dengan tingkat false positive di bawah 1%
- Biaya review rata-rata sekitar $15~25 per PR berdasarkan penggunaan token, dengan fitur pengelolaan biaya seperti batas organisasi bulanan dan kontrol per repositori
Masalah bottleneck pada code review
- Dengan produksi kode per engineer Anthropic yang naik 200% selama setahun terakhir, code review muncul sebagai bottleneck dalam proses pengembangan
- Pelanggan juga mengeluhkan masalah yang sama setiap minggu, saat developer berada dalam kondisi kewalahan dan banyak PR berakhir hanya dipindai sekilas, bukan direview mendalam
- Dikembangkan sebagai opsi yang lebih teliti dan lebih mahal dibanding Claude Code GitHub Action open-source yang sudah ada, untuk menghadirkan reviewer tepercaya pada setiap PR
- Sebelum diterapkan, hanya 16% PR yang menerima komentar review yang substansial, tetapi setelah diterapkan naik menjadi 54%
- Persetujuan PR tetap ditangani manusia, dan fitur ini berperan memperkecil kesenjangan agar reviewer dapat mencakup kode yang benar-benar dikirim dengan lebih memadai
Cara kerjanya
- Saat PR dibuka, sistem mengirim tim agent untuk mencari bug secara paralel
- Setiap agent memverifikasi bug untuk menyaring false positive dan memberi peringkat berdasarkan tingkat keparahan
- Hasilnya disampaikan di PR sebagai satu komentar ringkasan dengan sinyal tinggi dan komentar inline untuk bug tertentu
- Skala review menyesuaikan otomatis dengan ukuran PR; perubahan besar dan kompleks mendapat lebih banyak agent dan analisis lebih dalam, sementara perubahan kecil mendapat jalur ringan
- Dalam tolok ukur pengujian, waktu review rata-rata sekitar 20 menit
Contoh penerapan nyata
- Hasil operasi internal selama beberapa bulan menunjukkan bahwa pada PR besar (lebih dari 1.000 baris), 84% memuat temuan dan melaporkan rata-rata 7,5 isu
- Pada PR kecil (kurang dari 50 baris), 31% memuat temuan dan melaporkan rata-rata 0,5 isu
- Para engineer umumnya setuju dengan temuan tersebut, dan rasio yang ditandai sebagai false positive kurang dari 1%
- Dalam satu kasus, perubahan satu baris pada layanan production tampak seperti diff yang biasanya akan cepat disetujui, tetapi Code Review menandainya sebagai critical
- Perubahan itu memiliki mode kegagalan yang dapat merusak autentikasi layanan; mudah terlewat saat hanya membaca diff, tetapi menjadi jelas setelah ditunjukkan
- Masalah tersebut diperbaiki sebelum merge, dan engineer terkait membagikan bahwa ia kemungkinan tidak akan menemukannya sendirian
- Pada middleware open-source TrueNAS, untuk PR refactoring enkripsi ZFS, Code Review menemukan bug lama di kode yang berdekatan
- Masalah ketidakcocokan tipe yang diam-diam menghapus cache kunci enkripsi pada setiap sinkronisasi
- Ini adalah isu yang sudah tersembunyi di kode yang disentuh PR, jenis masalah yang biasanya tidak langsung ditemukan reviewer manusia yang memindai change set
Biaya dan kontrol
- Karena dioptimalkan untuk kedalaman analisis, biayanya lebih tinggi dibanding solusi ringan seperti Claude Code GitHub Action
- Review ditagih berdasarkan penggunaan token, dengan rata-rata $15~25 tergantung ukuran dan kompleksitas PR
- Opsi kontrol biaya dan penggunaan untuk admin:
- Batas organisasi bulanan: menetapkan total pengeluaran bulanan untuk seluruh review
- Kontrol per repositori: mengaktifkan review hanya pada repositori terpilih
- Dashboard analitik: melacak jumlah PR yang direview, tingkat penerimaan, dan total biaya review
Cara memulai
- Tersedia dalam bentuk research preview (beta) untuk paket Team dan Enterprise
- Admin dapat mengaktifkan Code Review di pengaturan Claude Code, lalu menginstal GitHub App dan memilih repositori tempat review akan dijalankan
- Setelah diaktifkan, developer akan mendapatkan review otomatis pada PR baru tanpa perlu pengaturan tambahan
8 komentar
Belakangan ini kecepatan rilis Anthropic benar-benar gila.
Sambil meningkatkan alat pengembang, sepertinya mereka sudah menuntaskan efek flywheel yang juga mempercepat pengembangan internal mereka sendiri.
Terasa sekali nuansa startup yang merilis sesuatu baru hampir setiap hari.
Sepertinya ini juga memberi tekanan besar ke OpenAI.
Terlihat jelas mereka bekerja dengan sangat menyenangkan.
Kalau biayanya saja bisa diturunkan, sepertinya akan bagus.
Membuat kode dengan Claude, meninjau kode dengan Claude..
Sepertinya paket personal belum didukung. Kira-kira nanti juga tetap tidak akan didukung?
Perbaikan rekursif sepertinya sudah dimulai.
para guru Claude, secara manusiawi bukannya ini terlalu cepat... hiks hiks
Claude: karena ini bukan manusia....;;;;