OpenAI mengumumkan model baru dan produk pengembang di DevDay

• Mengumumkan model GPT-4 Turbo dengan dukungan jendela konteks 128K, GPT-4 API dengan Vision, Assistants API, DALL-E 3 API, GPT-3.5 Turbo baru, dan lainnya.
• GPT-4 Turbo
  • Mendukung jendela konteks (Context Window) 128K dan dilatih dengan data hingga April 2023.
  • Dibandingkan GPT-4, token input 3 kali lebih murah dan token output 2 kali lebih murah.
  • Lebih baik dalam mengikuti instruksi untuk merespons dalam format tertentu, dan juga memiliki mode JSON yang menjamin respons JSON.
  • Mendukung output yang dapat direproduksi berbasis seed, dan direncanakan akan menambahkan fitur untuk mengembalikan log probability terhadap output.
  • GPT-3.5 Turbo juga diperbarui.
• Assistants API
  • AI tujuan khusus dengan kemampuan code interpreter, retrieval, dan function calling.
  • Mengelola status berbasis thread sehingga dapat menangani konten dengan panjang tak terbatas.
  • Code interpreter - dapat menulis dan menjalankan kode Python di lingkungan sandbox.
  • Retrieval - mencari dan merespons menggunakan pengetahuan di luar model, seperti dokumen yang disediakan pengguna.
  • Function calling - dapat memanggil fungsi yang didefinisikan pengguna secara tepat dan menyertakan hasilnya dalam respons.
• API baru lainnya
  • GPT-4 Turbo kini ditambahkan kemampuan mengenali gambar,
  • DALL-E 3 dirilis sebagai API, dengan biaya $0.04 per pembuatan gambar.
  • API TTS ditambahkan.
• Kustomisasi model
  • Model fine-tuning GPT-4 akan dirilis dalam akses eksperimental.
  • Menyediakan layanan model kustom untuk membuat model yang disesuaikan bagi organisasi besar.
    • Termasuk pelatihan menggunakan dataset proprietari dengan miliaran token atau lebih.
• Penurunan harga
  • GPT-4 Turbo 128K dihargai $0.01 per token input dan $0.03 per token output.
    • Dibandingkan sebelumnya, token input menjadi 3 kali lebih murah dan token output 2 kali lebih murah.
  • GPT-3.5 Turbo 16K tersedia dengan harga $0.001 per token input dan $0.002 per token output.
    • Dibandingkan sebelumnya, token input menjadi 3 kali lebih murah dan token output 2 kali lebih murah, serta token input juga 33% lebih murah dibanding model 4K.
  • Model fine-tuning GPT-3.5 Turbo tersedia dengan harga $0.003 per token input dan $0.006 per token output.
    • Dibandingkan sebelumnya, token input menjadi 4 kali lebih murah dan token output 2.7 kali lebih murah.

[xguru]

Sejak kemarin, GN⁺ juga sudah menerapkan GPT-4 Turbo.
Terasa jelas jawabannya jadi lebih cepat dan lebih baik dalam memahami perintah.
Ia juga merangkum sesuai instruksi dan menghasilkan output yang rapi.
Sebelumnya saya biasa mencampur prompt berbahasa Inggris, tetapi sekarang dengan prompt berbahasa Korea saja pun hasil jawabannya sudah sangat bagus.

[botplaysdice]

Saya memang tidak terlalu paham AI, tetapi laju penurunan harganya pasti akan semakin cepat, bukan? Rasanya benar-benar sulit membayangkan seperti apa dunia dalam 1 atau 2 tahun ke depan.

[tkwlsrl]

Harga di atas adalah harga per 1000 token. Harap diperhatikan.

[shw00]

Dan 128K token... sekarang, untuk penggunaan saya, masalah konteks pada umumnya sepertinya akan hilang.

[xguru]

Ah, saya sebenarnya sedang merapikan ini untuk diunggah, tapi terlambat T_T

[kuroneko]

• Utas HN

Saat Anthropic merilis model 100K saja sudah terasa mengagumkan, tapi kini GPT-4 kembali meluncurkan 128K token, jadi terasa seperti mereka kembali selangkah di depan.
Harganya juga secara keseluruhan diturunkan beberapa kali lipat, jadi kemampuan teknis OpenAI ini sebenarnya sampai sejauh mana ya...

Bagaimanapun, ini sangat saya sambut.
GPT-4 diam-diam memang cukup mahal (terutama kalau memakai 16K), tapi sekarang ukuran token-nya naik besar-besaran dan harganya benar-benar jadi jauh lebih murah. +_+

Dan saya juga penasaran dengan Assistants API, sepertinya harus coba sekali.
Katanya bahkan tidak perlu memakai embedding untuk pencarian, jadi rasanya malah lebih menguntungkan juga...?

[kuroneko]

Ringkasan AI dari thread HN.

• OpenAI mengumumkan model baru dan produk pengembang, termasuk GPT-4 Turbo dengan panjang konteks 128.000 token, Assistants API, dan harga yang lebih rendah.
• Pengumuman ini ditujukan untuk meningkatkan lock-in ke platform API OpenAI di tengah persaingan yang makin ketat.
• Agen GPT dan asisten berfungsi sebagai "kotak hitam di dalam kotak hitam" yang tidak dapat dipindahkan ke tempat lain.
• Harga DALL-E 3 adalah $0,04 per gambar, 10 kali lebih tinggi dibanding para pesaing.
• Harga fine-tuning ChatGPT 3.5 kini menjadi 3 kali lipat, sehingga fine-tuning menjadi lebih menarik.
• Panjang konteks 128K pada GPT-4 Turbo memang menarik, tetapi model open source masih tertinggal dalam akurasi dan kemampuan.
• Pelanggan kini dapat membayar $2-3 juta untuk melakukan pra-pelatihan model GPT-N kustom dengan data proprietari.
• Kategori startup seperti vectorDB dan pemrosesan file dapat terdampak karena OpenAI menyediakan fungsi serupa.
• OpenAI berupaya mendorong pengembang agar bergantung pada platformnya tanpa mempertimbangkan risiko jangka panjang.
• Seiring berkurangnya persaingan, para pengembang akan menerima risiko seperti lock-in berdasarkan kebutuhan saat ini dan keuntungan jangka pendek.

[brainer]

Ada halusinasi.

Harganya sudah semuanya tertulis.