Pratinjau Gemini 2.5 Pro dirilis - model AI Google dengan performa kode yang makin kuat

• Google merilis lebih awal Gemini 2.5 Pro Preview (I/O Edition) sebelum acara I/O resmi, dengan tujuan mencerminkan masukan pengembang dan meningkatkan performa
• Menunjukkan performa yang sangat kuat khususnya dalam pengembangan frontend dan UI, dengan peningkatan pada kemampuan transformasi kode, pengeditan, dan penilaian abstraksi
• Berdasarkan performa benchmark VideoMME 84,8%, kini dimungkinkan pembuatan otomatis aplikasi pembelajaran berbasis video
• Melalui penalaran desain, pembuatan UI yang disesuaikan dengan gaya serta penambahan fitur juga dapat diimplementasikan dengan mudah
• Versi sebelumnya tertanggal 25 Maret akan otomatis diperbarui ke versi 6 Mei, sehingga bisa menggunakan model yang ditingkatkan tanpa pekerjaan tambahan

---

Performa unggul dalam pengembangan frontend

• Gemini 2.5 Pro mencatatkan peringkat 1 di leaderboard WebDev Arena
• Berdasarkan UI yang aesthetically pleasing dan tingkat kelengkapan fungsional, model ini membuktikan performa teratas dalam evaluasi preferensi manusia
• Melalui kolaborasi dengan Cognition dan Replit, Google terus memperluas kemungkinan pemrograman berbasis agen

Kombinasi pemahaman kode dan kemampuan penalaran

• Fitur video → kode

  • Dengan performa benchmark VideoMME 84,8%, model ini mencapai kemampuan pemahaman video pada level SOTA
  • Memungkinkan pembuatan otomatis aplikasi pembelajaran interaktif berbasis video YouTube
  • Memberikan hasil dengan UI keseluruhan dan tingkat interaksi yang lebih baik dibanding versi sebelumnya

• Otomatisasi pengembangan fitur

  • Sebelumnya, file desainer harus dibuka lalu warna, font, margin, dan sebagainya diubah menjadi CSS secara manual
  • Gemini 2.5 Pro memungkinkan pembuatan otomatis komponen yang disesuaikan dengan gaya
  • Contoh: dapat mengotomatiskan penambahan fitur pemutar video dengan gaya yang selaras dengan aplikasi Gemini 95

• Peningkatan kecepatan dari ide → implementasi aplikasi

  • Seperti pada kasus dictation starter app, model ini dapat membuat aplikasi dengan mempertimbangkan fungsi + penyelesaian estetika secara bersamaan
  • Menghasilkan otomatis elemen UI yang detail seperti animasi gelombang, desain responsif, dan efek mouseover
  • Bahkan tanpa pengguna mendesain sendiri, model ini secara default menghasilkan hasil yang memiliki selera estetika

Penerapan masukan pengembang dan cara penggunaan

• Dibanding versi sebelumnya, telah dilakukan pengurangan tingkat kesalahan pemanggilan fungsi dan peningkatan pemicu pemanggilan
• Versi 03-25 yang ada akan otomatis mengarah ke versi 05-06 → diterapkan tanpa pembaruan terpisah
• Langsung dapat digunakan di Google AI Studio dan Vertex AI
• Kartu model juga telah diperbarui dengan informasi terbaru
• Akan diperbarui otomatis ke versi terbaru dan disediakan tanpa perubahan harga

Penggunaan dan harapan

• Replit, Cursor, Cognition, dan lainnya sedang meninjau atau menerapkan model ini sebagai agen pemrograman generasi berikutnya
• Diperkirakan akan berkontribusi pada meluasnya alur pengembangan berbasis agen dari pengembang individu hingga perusahaan

[GN⁺]

Pendapat Hacker News

• Saat menggunakan model seperti ini untuk pemrograman di masa lalu, keluhan terbesar adalah kecenderungannya mengarang API yang sebenarnya tidak ada. Model Gemini 2.5, khususnya versi Pro dan Flash, lebih jarang mengalami masalah ini dibanding model lain

  • Masih ada batasan yang cukup besar, dan model saat ini belum mampu mendekati abstraksi dan arsitektur seperti manusia
  • Namun, model Gemini kini sudah bisa menggantikan pencarian dan Stack Overflow dalam pemrograman sehari-hari

• Gemini 2.5 Pro menempati peringkat 1 di leaderboard WebDev Arena

  • Rasanya masuk akal jika WebDev Arena diubah namanya menjadi React/Tailwind Arena
  • System prompt mewajibkan teknologi tersebut, dan seluruh alat tidak berfungsi saat diminta menggunakan vanilla JS atau framework lain
  • Menjadi masalah jika model bersaing dalam definisi web development yang sempit

• Saat meminta kode ke Gemini 2.5, keluar terlalu banyak komentar

  • Termasuk jumlah komentar yang berlebihan seperti komentar bagian, komentar langkah, komentar blok, dan komentar inline

• Gemini 2.5 sangat unggul untuk tugas agentic, tetapi masih kesulitan menghasilkan diff yang sepenuhnya sempurna untuk pengeditan kode

  • Gemini 2.5 versi lama menghasilkan diff yang tepat dengan akurasi 92%
  • Diperkirakan angka ini akan naik menjadi 95-98%

• Pertanyaan untuk pihak Google: ingin tahu apakah Gemini-2.5-pro-exp (versi gratis) juga sudah diperbarui, atau akan dihapus

  • Menurut postingan blog, versi sebelumnya (03-25) kini menunjuk ke versi terbaru (05-06), dan tidak perlu tindakan tambahan untuk memakai model yang ditingkatkan
  • Ingin tahu apakah Gemini-2.5-pro-preview-03-25 sekarang memakai 05-06, dan apakah hal yang sama juga berlaku untuk Gemini-2.5-pro-exp-03-25

• Saat membandingkan benchmark eksperimental 03-25 dan eksperimental 05-06, versi baru mendapat skor sedikit lebih rendah di semua kategori kecuali LiveCodeBench

• Menggunakan Gemini untuk hampir semua hal, tetapi model card hanya membandingkannya dengan o3-mini

  • Dalam benchmark yang diketahui, o3 masih unggul

• Gemini 2.5 pro memang hebat, tetapi UI-nya masih punya masalah scroll yang membuatnya sulit digunakan

  • Sebaiknya tunggu beberapa menit setelah output AI selesai
  • Cara lain yang juga andal adalah mencari elemen ms-code-block di developer tools lalu mencatat $0.textContext

• Gemini 2.5 pro memang hebat, tetapi biayanya sangat mahal dan memberikan visibilitas biaya yang tidak transparan

  • Belakangan ini banyak orang menerima tagihan tak terduga, dan beberapa mengalami biaya $500 dari penggunaan yang normal
  • Saya juga terdampak dan menghapus API key dari alat tersebut

• Model ini berkinerja lebih buruk daripada 03-25 pada 10 dari 12 benchmark

  • Mereka terus melatihnya untuk coding tetapi semuanya justru memburuk, lalu mungkin mencoba menutupinya karena sunk cost

• Ingin tahu kenapa tidak bisa memakai nomor versi alih-alih "preview baru"

  • Misalnya, akan lebih baik jika disebut Gemini Pro 2.5.1