Turnamen poker tempat para LLM saling bertarung

• LLM bertanding dalam turnamen uang tunai pertama di dunia untuk menguji kemampuan penalaran AI dalam permainan dengan informasi tidak lengkap
  • Saat ini Grok 4 berada di posisi pertama, diikuti Gemini 2.5 Pro, Claude Sonnet 4.5, DeepSeek R1, dan OpenAI o3
• Turnamen menggunakan format cash game Texas Hold’em $10/$20, dengan 4 meja berisi 9 pemain berlangsung secara bersamaan, dan model yang mengumpulkan dana terbanyak selama satu minggu menjadi pemenang
• Semua model peserta menggunakan system prompt yang sama, dan pada setiap titik pengambilan keputusan, LLM menghasilkan penilaian dan aksi berdasarkan kartu tangan, stack, statistik lawan, serta catatan
• Turnamen berlangsung hanya dengan kompetisi antarmodel tanpa pemain manusia, sehingga efisiensi algoritme dan hasil pembelajaran bisa dibandingkan secara langsung
• Setelah turnamen, dataset penalaran per hand dan proses berpikir dari tiap model akan dianalisis untuk digunakan sebagai bahan evaluasi kualitas pemikiran strategis LLM
• Eksperimen ini merupakan upaya untuk menguji keandalan penalaran AI dan potensi pembelajaran strategis, serta mendapat perhatian sebagai bentuk riset baru untuk memahami pola pikir probabilistik yang berpusat pada manusia

---

Ikhtisar PokerBattle.ai

• PokerBattle.ai adalah turnamen poker uang tunai pertama yang ditujukan untuk LLM
  • Pesertanya bukan manusia, melainkan language model, dan setiap model menjalankan strategi pokernya sendiri
  • Ada hadiah uang sungguhan, sehingga hasil kompetisi terhubung langsung dengan nilai finansial
• Proyek ini dirancang sebagai platform eksperimental untuk memverifikasi kemampuan pengambilan keputusan strategis AI
  • Melalui poker sebagai permainan dengan informasi tidak lengkap, proyek ini mengevaluasi daya nalar dan kemampuan adaptasi model
  • Fokusnya bukan pada generasi bahasa semata, melainkan pada evaluasi perilaku berbasis pengambilan keputusan

Gambaran turnamen dan tujuannya

• Poker adalah permainan yang inti utamanya terletak pada informasi tidak lengkap dan penilaian probabilistik, dengan struktur pengambilan keputusan yang kompleks dalam menyeimbangkan risiko dan imbalan
• Turnamen ini diselenggarakan untuk menguji apakah LLM dapat menafsirkan persoalan seperti ini secara rasional dan membangun strategi yang konsisten
• Tujuannya juga untuk memverifikasi apakah LLM dapat melakukan secara terpadu pendekatan tradisional dalam belajar poker (analisis hand, perhitungan matematis, penggunaan solver, dan lain-lain)

Cara pelaksanaan

• Semua pertandingan berlangsung dalam bentuk duel langsung antarsesama LLM
  • Tidak ada pemain manusia yang ikut serta, dan setiap model menentukan aksinya secara mandiri
  • Hasil dihitung otomatis sesuai aturan poker untuk menentukan menang-kalah dan hadiah uang
• Berlangsung secara real-time dan hasilnya dipublikasikan untuk memastikan transparansi
  • Log aksi dan pilihan strategis masing-masing model dicatat sehingga dapat dianalisis
• Tahap 1: pengumpulan data (27–31 Oktober)
• Tahap 2: analisis hand dan penalaran
  • Pada tahap 1, turnamen online real-time dijalankan sambil mengumpulkan data permainan dari tiap LLM
  • Setelah itu, jalur penalaran (reasoning trace) masing-masing model dianalisis untuk membandingkan kemampuan pengambilan keputusan strategis

Aturan turnamen

• Format permainan: Texas Hold’em, blind $10/$20, tanpa ante/straddle
• Susunan: 4 meja simultan × 9 pemain
• Manajemen stack: isi ulang otomatis jika turun di bawah 100bb
• Syarat kemenangan: setelah satu minggu, model dengan bankroll terbesar menjadi pemenang

Cara kerja model

• Semua LLM peserta beroperasi berdasarkan system prompt yang sama
• Pada setiap giliran, model menerima input berikut:
  • Informasi hand saat ini (posisi, stack, kartu)
  • Statistik permainan lawan (VPIP, PFR, 3bet, dan sebagainya)
  • Catatan lawan yang ditulis dari hand sebelumnya
• Output model:
  • Penalaran logis atas keputusan
  • Aksi yang akan dijalankan (call, raise, fold, dan sebagainya)
  • Ringkasan untuk penonton (reasoning summary)
• Ada batas token, dan jika terjadi kesalahan respons atau waktu habis, hasilnya diperlakukan sebagai fold otomatis

Penyelenggara

• Max Pavlov — profesional manajemen produk sekaligus penggemar deep learning, AI, dan poker
  • Ia merancang proyek ini untuk mengeksplorasi sejauh mana LLM dapat mewujudkan pemikiran probabilistik yang kompleks dan penalaran strategi ala manusia