OpenAI o1-pro, kini tersedia melalui API

• Token input $150, token output $600 (per 1 juta token)
  • 150 kali lebih mahal daripada o1-mini
• Model seri o1 dilatih melalui pembelajaran penguatan (Reinforcement Learning) agar dapat berpikir sebelum menjawab dan melakukan penalaran yang kompleks
  • Model o1-pro menggunakan sumber daya komputasi yang lebih besar untuk berpikir lebih mendalam dan memberikan jawaban berkualitas tinggi yang konsisten
• Hanya dapat digunakan di Responses API, serta mendukung fitur berikut
  • Mendukung pemanggilan banyak alat
  • Mendukung interaksi model lintas beberapa putaran sebelum merespons permintaan API
• Jendela konteks 200.000, jumlah token output maksimum 100.000
• Cutoff adalah 1 Oktober 2023

[GN⁺]

Komentar Hacker News

• Model ini hanya bisa digunakan melalui Responses API yang baru. Jika Anda punya kode yang menggunakan Chat Completions, Anda perlu upgrade ke Responses agar mendukung ini
  • Menambahkan dukungan ke alat LLM saya mungkin akan memakan waktu
• Harga: $150 per 1 juta token input, $600 per 1 juta token output
  • Sangat mahal, tetapi setelah mencobanya bersama langganan ChatGPT Pro, kemampuannya sangat mengesankan
  • Jika diberi codebase 100.000 token, model ini bisa menemukan bug halus yang sepenuhnya saya lewatkan
  • Jika membandingkan harga API dengan biaya langganan yang saya bayar, rasanya agak tidak enak
• Merender SVG pelikan yang mengendarai sepeda menghabiskan biaya 94 sen
• Jika diasumsikan pekerja kantoran yang termotivasi dengan gaji $160k per tahun mendengar atau berbicara selama 6 jam sehari, maka biaya per 1 juta token kira-kira $10k
  • OpenAI kini mencapai tingkat yang mirip dengan manusia sangat terampil dalam penetapan harga model terdepan mereka
  • o3 pro bisa mengubah situasi ini, tetapi saya rasa mereka tidak akan merilis model ini jika o3 memang akan segera diluncurkan
• Memiliki knowledge cutoff tahun 2023 dan context window 200k
  • Agak mengecewakan
• o1-pro masih unggul dibanding semua rilis lain, termasuk Grok 3 think dan Claude 3.7 think
  • Saya sempat ingin membatalkan langganan Pro, tetapi 4.5 terlalu bagus untuk tugas non-coding/matematika
  • Sudah tidak sabar menunggu o3 pro
• Ada orang-orang yang sudah mengujinya dan menyukainya
  • Saya sangat percaya diri dengan Sonnet 3.7
  • Semoga bisa lebih cepat
  • Sebagian besar masalah adalah masalah eksekusi, dan saya ingin AI menyelesaikannya lebih cepat daripada jika saya coding sendiri
• o1-pro sepertinya akan digunakan untuk alat yang jarang dipakai atau untuk memeriksa ulang codebase
  • Bahkan jika harganya diturunkan, saya berasumsi akan dibutuhkan banyak pekerjaan dan pengetahuan domain untuk mendapatkan kecepatan 10x dari Sonnet
• o1-pro tidak mendukung streaming
  • Diduga menggunakan teknik tipe best-of-n untuk mencari beberapa jawaban
  • Saya rasa dengan menggunakan llm-consortium, hasil serupa bisa didapat dengan harga yang jauh lebih rendah
  • Anda bisa memberi prompt ke beberapa model, lalu memilih atau menyintesis respons terbaik di antaranya
  • Bisa diulang sampai mencapai ambang kepercayaan
• Awalnya saya pikir ini bisa ditambahkan ke platform, tetapi setelah melihat harganya saya ragu mengaktifkan model ini untuk sebagian besar pengguna
  • Kecuali perusahaan kaya, kebanyakan pengguna hanya akan merugikan diri sendiri
• Saya selalu curiga o1-Pro mungkin adalah workflow dari model o1
  • Bisa jadi pendekatannya adalah mendistribusikan ke 8 instance o1 lalu mengagregasi hasilnya