OpenAI DevDay: Model Baru dan Produk Pengembang

 (openai.com)
1 poin oleh GN⁺ 2023-11-07 | 1 komentar | Bagikan ke WhatsApp
  • Di DevDay, OpenAI memperluas model inti platform API-nya dengan GPT‑4 Turbo, serta memperkenalkan Assistants API, kemampuan multimodal, dan penurunan harga, sehingga secara signifikan memperluas rangkaian produk untuk pengembang
  • GPT‑4 Turbo, dengan konteks 128K dan pengetahuan hingga April 2023, tersedia dengan harga token input 3 kali lebih murah dan token output 2 kali lebih murah dibanding GPT‑4
  • Assistants API baru menggabungkan Code Interpreter, Retrieval, pemanggilan fungsi, dan thread persisten tanpa batas panjang, sehingga memungkinkan pembuatan AI assistant berorientasi tujuan di dalam aplikasi
  • API kini menambahkan input vision, DALL·E 3, dan text-to-speech (TTS), sementara GPT‑3.5 Turbo mendukung konteks default 16K, JSON mode, dan pemanggilan fungsi paralel
  • Batas token per menit untuk pelanggan GPT‑4 berbayar digandakan, dan Copyright Shield menyediakan pembelaan serta penanggungan biaya atas klaim pelanggaran hak cipta untuk ChatGPT Enterprise dan fitur yang tersedia umum di platform pengembang

Pembaruan GPT‑4 Turbo dan GPT‑3.5 Turbo

  • GPT‑4 Turbo diluncurkan sebagai preview model generasi berikutnya dari GPT‑4
    • Semua pengembang berbayar dapat menggunakannya di API dengan mengirimkan gpt-4-1106-preview
    • Model stabil yang siap produksi direncanakan rilis dalam beberapa minggu
    • Dengan jendela konteks 128K, lebih dari 300 halaman teks dapat dimasukkan dalam satu prompt
    • Pengetahuan dunia mencakup hingga April 2023
  • Harganya lebih rendah dibanding GPT‑4
    • Token input GPT‑4 Turbo: $0.01/1,000 tokens
    • Token output GPT‑4 Turbo: $0.03/1,000 tokens
    • Input 3 kali lebih murah dan output 2 kali lebih murah dibanding GPT‑4
  • Pemanggilan fungsi (function calling) kini dapat memanggil beberapa fungsi dalam satu pesan
    • Misalnya, permintaan seperti “buka jendela mobil dan matikan AC” dapat diproses dalam satu pesan tanpa beberapa kali bolak-balik seperti sebelumnya
    • GPT‑4 Turbo menjadi lebih mungkin mengembalikan parameter fungsi yang benar
  • JSON mode membatasi respons model menjadi JSON yang valid
    • Parameter API baru response_format dapat memaksa pembuatan objek JSON yang benar secara sintaksis
    • Berguna bagi pengembang yang membuat JSON dengan Chat Completions API di luar pemanggilan fungsi
    • GPT‑4 Turbo berkinerja lebih baik daripada model sebelumnya dalam tugas mengikuti instruksi format tertentu seperti “selalu jawab dalam XML”
  • Output yang dapat direproduksi dan probabilitas log juga ditambahkan
    • Parameter seed mendukung output yang dapat direproduksi dengan membuat completion yang konsisten dalam sebagian besar kasus
    • Dapat digunakan untuk debugging replay permintaan, unit test yang lebih komprehensif, dan pengendalian perilaku model
    • Fitur pengembalian probabilitas log untuk token output yang paling mungkin dari GPT‑4 Turbo dan GPT‑3.5 Turbo direncanakan rilis dalam beberapa minggu
    • Berguna untuk membuat fitur seperti autocomplete pada pengalaman pencarian
  • GPT‑3.5 Turbo baru mendukung jendela konteks default 16K
    • Dapat diakses di API sebagai gpt-3.5-turbo-1106
    • Mendukung peningkatan kepatuhan terhadap instruksi, JSON mode, dan pemanggilan fungsi paralel
    • Dalam evaluasi internal, tugas kepatuhan format seperti pembuatan JSON, XML, dan YAML meningkat 38%
    • Model gpt-3.5-turbo-0613 yang sudah ada akan tetap dapat diakses hingga 13 Juni 2024
    • Aplikasi yang menggunakan nama gpt-3.5-turbo tidak lagi akan menjalani upgrade otomatis

Assistants API, Retrieval, Code Interpreter

  • Assistants API diluncurkan sebagai langkah pertama agar pengembang dapat membuat pengalaman bergaya agen di dalam aplikasi
    • Assistant adalah AI berorientasi tujuan yang memiliki instruksi tertentu, memanfaatkan pengetahuan tambahan, serta memanggil model dan tool untuk menjalankan tugas
    • Ditujukan untuk kasus penggunaan seperti aplikasi analisis data berbasis bahasa alami, coding assistant, perencana perjalanan AI, DJ yang dikendalikan suara, dan kanvas visual cerdas
    • Dibangun di atas fitur seperti custom instructions, Code Interpreter, Retrieval, dan pemanggilan fungsi yang memungkinkan produk GPTs baru dari OpenAI
  • Perubahan inti adalah thread persisten tanpa batas panjang
    • Pengembang dapat menyerahkan pengelolaan status thread kepada OpenAI
    • Cara kerjanya adalah menambahkan pesan baru ke thread yang sudah ada untuk mengatasi batasan jendela konteks
  • Assistants API dapat memanggil beberapa tool
    • Code Interpreter: menulis dan menjalankan kode Python di lingkungan eksekusi sandbox, membuat grafik dan chart, serta memproses file dengan berbagai data dan format
    • Retrieval: memperkaya assistant dengan pengetahuan di luar model, seperti data domain proprietary, informasi produk, dan dokumen yang diberikan pengguna
    • Dengan Retrieval, pengembang tidak perlu mengimplementasikan sendiri penyimpanan embedding dokumen, chunking, dan algoritme pencarian
    • Function calling: assistant dapat memanggil fungsi yang didefinisikan pengembang dan merefleksikan respons fungsi ke dalam pesan
  • Data dan file yang dikirim melalui API tidak digunakan untuk melatih model OpenAI, dan dapat dihapus saat pengembang menilainya tepat
  • Assistants API tersedia untuk semua pengembang dalam versi beta, dan dapat dicoba tanpa kode di Assistants playground
  • Harga Assistants API dan tool tersedia di halaman harga OpenAI

Fitur Vision, Gambar, dan Suara yang Ditambahkan ke API

  • GPT‑4 Turbo with vision dapat menerima gambar sebagai input di Chat Completions API
    • Mendukung kasus penggunaan seperti pembuatan caption, analisis detail gambar nyata, dan membaca dokumen yang berisi gambar
    • BeMyEyes menggunakan teknologi ini untuk membantu pengguna tunanetra dan low vision dalam tugas sehari-hari seperti mengidentifikasi produk dan bernavigasi di toko
    • Pengembang dapat mengaksesnya melalui gpt-4-vision-preview
    • Dukungan vision akan disertakan dalam model utama GPT‑4 Turbo sebagai bagian dari rilis stabil
    • Harga bervariasi berdasarkan ukuran gambar input; biaya mengirim 1 gambar 1080×1080 ke GPT‑4 Turbo adalah $0.00765
  • DALL·E 3 dapat diintegrasikan ke aplikasi dan produk dengan menentukan model dall-e-3 di Images API
    • Snap, Coca-Cola, dan Shutterstock menggunakan DALL·E 3 untuk membuat gambar dan desain secara programatis bagi pelanggan dan kampanye
    • Seperti versi DALL·E sebelumnya, API menyertakan moderation bawaan untuk membantu mencegah penyalahgunaan
    • Opsi format dan kualitas tersedia, dengan harga mulai dari $0.04 per gambar yang dibuat
  • API text-to-speech (TTS) menghasilkan suara setara manusia dari teks
    • Model TTS baru menyediakan 6 preset voice
    • Varian modelnya ada dua: tts-1 dan tts-1-hd
    • tts-1 dioptimalkan untuk kasus penggunaan real-time, sementara tts-1-hd dioptimalkan untuk kualitas
    • Harga mulai dari $0.015 per 1,000 karakter input

Kustomisasi Model

  • OpenAI sedang membuat program akses eksperimental untuk fine-tuning GPT‑4
    • Hasil awal menunjukkan bahwa, berbeda dari peningkatan besar yang diperoleh dari fine-tuning GPT‑3.5, fine-tuning GPT‑4 membutuhkan lebih banyak pekerjaan untuk mendapatkan peningkatan yang bermakna dibanding base model
    • Ketika kualitas dan keamanan fine-tuning GPT‑4 membaik, pengembang yang aktif menggunakan fine-tuning GPT‑3.5 akan menerima opsi untuk mendaftar program GPT‑4 di fine-tuning console
  • Custom Models program ditujukan bagi organisasi yang membutuhkan kustomisasi lebih besar daripada fine-tuning
    • Khususnya diterapkan pada domain yang memiliki dataset proprietary sangat besar dengan skala minimal puluhan miliar token
    • Organisasi terpilih dapat melatih custom GPT‑4 untuk domain tertentu bersama kelompok khusus peneliti OpenAI
    • Seluruh tahap proses pelatihan model dapat dimodifikasi, mulai dari pre-training tambahan khusus domain hingga custom RL post-training yang disesuaikan dengan domain tertentu
    • Organisasi mendapatkan akses eksklusif ke custom model mereka sendiri
    • Custom model tidak disediakan atau dibagikan kepada pelanggan lain, dan tidak digunakan untuk melatih model lain
    • Data proprietary yang diberikan untuk melatih custom model tidak digunakan kembali dalam konteks lain
    • Pada tahap awal, program ini dimulai sebagai program yang sangat terbatas dan berbiaya besar

Penurunan Harga dan Perluasan Rate Limit

  • OpenAI menurunkan harga di berbagai area platform
    • Semua harga berbasis 1,000 tokens
  • Harga GPT‑4 Turbo
    • GPT‑4 8K: input $0.03, output $0.06
    • GPT‑4 32K: input $0.06, output $0.12
    • GPT‑4 Turbo 128K: input $0.01, output $0.03
  • Harga GPT‑3.5 Turbo
    • GPT‑3.5 Turbo 4K yang sudah ada: input $0.0015, output $0.002
    • GPT‑3.5 Turbo 16K yang sudah ada: input $0.003, output $0.004
    • GPT‑3.5 Turbo 16K baru: input $0.001, output $0.002
    • Harga baru hanya berlaku untuk GPT‑3.5 Turbo baru yang diperkenalkan pada hari itu
    • Pengguna GPT‑3.5 Turbo 4K yang sudah ada mendapatkan penurunan harga token input sebesar 33%
  • Harga fine-tuning GPT‑3.5 Turbo
    • Fine-tuning GPT‑3.5 Turbo 4K yang sudah ada: pelatihan $0.008, input $0.012, output $0.016
    • Fine-tuning GPT‑3.5 Turbo 4K·16K baru: pelatihan $0.008, input $0.003, output $0.006
    • Token input menjadi 4 kali lebih murah, token output menjadi 2.7 kali lebih murah
    • Pada model GPT‑3.5 Turbo baru, fine-tuning konteks 16K didukung dengan harga yang sama seperti 4K
    • Harga baru juga berlaku untuk model fine-tuned gpt-3.5-turbo-0613
  • Rate limit juga diperluas
    • Batas token per menit untuk semua pelanggan GPT‑4 berbayar digandakan
    • Rate limit baru dapat dilihat di rate limit page
    • Usage tiers yang menentukan peningkatan rate limit otomatis diumumkan
    • Peningkatan batas penggunaan dapat diminta di pengaturan akun

Copyright Shield dan Rilis Open Source

  • Copyright Shield adalah program di mana OpenAI akan memberikan pembelaan dan menanggung biaya yang timbul jika pelanggan menerima klaim hukum terkait pelanggaran hak cipta
    • Berlaku untuk ChatGPT Enterprise dan fitur yang tersedia umum di platform pengembang
    • OpenAI mempertahankan posisinya untuk melindungi pelanggan melalui perlindungan hak cipta yang tertanam di dalam sistemnya
  • Whisper large-v3 dirilis
    • Ini adalah versi berikutnya dari model automatic speech recognition ASR open source OpenAI
    • Kinerjanya meningkat di berbagai bahasa
    • OpenAI berencana mendukung Whisper v3 di API dalam waktu dekat
  • Consistency Decoder juga dirilis sebagai open source
    • Ini adalah drop-in replacement untuk Stable Diffusion VAE decoder
    • Meningkatkan semua gambar yang kompatibel dengan Stable Diffusion 1.0+ VAE
    • Memberikan peningkatan besar pada teks, wajah, dan garis lurus

Bacaan terkait

1 komentar

 
GN⁺ 2023-11-07
Opini Hacker News

  • Sebagian besar produk yang diumumkan dan penurunan harga tampak lebih mengarah pada upaya meningkatkan ketergantungan pada platform API OpenAI, dan dengan persaingan yang makin ketat, itu tidak mengejutkan
    Khususnya demo GPTs/GPT Agents dan Assistants terlihat seperti kotak hitam di dalam kotak hitam yang tidak bisa dipindahkan ke tempat lain
    Penilaian terhadap pengumumannya beragam, dan sepertinya perlu melihat lebih banyak detail di dokumentasi API yang baru saja diperbarui: https://platform.openai.com/docs/api-reference
    Halaman harga juga diperbarui: https://openai.com/pricing
    Khususnya API DALL-E 3 dipatok $0,04 per gambar, sekitar satu orde magnitudo lebih mahal daripada layanan lain di bidang ini
    Hal menarik dari struktur harga baru yang tidak disebutkan di keynote adalah bahwa ChatGPT 3.5 yang di-fine-tune kini turun menjadi 3 kali biaya ChatGPT 3.5 dasar. Turun dari sebelumnya 8 kali, sehingga fine-tuning menjadi opsi yang lebih meyakinkan

    • Strategi yang bagus. Untuk menghindari moat mereka, Anda harus menurunkan kualitas secara signifikan dan akhirnya masuk ke moat perusahaan lain, atau menurunkan kualitas secara signifikan sambil mengeluarkan jauh lebih banyak uang
      Setelah saya cari tahu sendiri, konfigurasi end-to-end paling realistis untuk benar-benar memiliki LLM sendiri kira-kira adalah memasang beberapa 3090 di motherboard konsumen dan menjalankannya 24/7; biaya operasionalnya cukup besar, performanya juga belum memadai, dan tetap cukup mahal
      Dengan sedikit tambahan biaya, Anda bisa membeli konfigurasi Apple Silicon 128GB/192GB untuk meningkatkan kualitas dan biaya operasional, tetapi itu jauh, jauh lebih lambat daripada layanan “Turbo” OpenAI
      Alasan terbesar yang membuat saya menjauh dari OpenAI adalah karena pengalaman chat terasa disubsidi jauh lebih besar dibanding API, tetapi pengumuman kali ini tampaknya cukup menutup kesenjangan itu
      Singkatnya, OpenAI menawarkan ketentuan yang terlalu menarik untuk diabaikan, dan ini adalah layanan yang disubsidi besar-besaran. Biaya migrasi di kemudian hari sepertinya tidak akan melampaui manfaat yang didapat sekarang
    • Saya kurang paham argumen ketergantungan di sini. Kalau ada pesaing, memang ada biaya migrasi karena harus belajar lagi, tetapi dari sudut pandang kode, itu hanya key dan fungsi dari API yang relatif kecil
      Tanpa regulasi baru, selain biaya untuk mempelajari cara memakai Anthropic secara efektif untuk kasus penggunaan tertentu, saya tidak tahu apa yang mencegah orang pindah dari OpenAI ke Anthropic atau sejenisnya
      OpenAI juga tidak punya semacam feed ekspor terpisah untuk mengeluarkan data dari database
    • Saya justru melihat sebaliknya terhadap penilaian bahwa “demo Assistants adalah kotak hitam di dalam kotak hitam yang tidak bisa dipindahkan ke tempat lain”
      Antarmuka Threads baru di layar admin OpenAI menunjukkan dengan tepat bagaimana input dan output ditafsirkan, untuk mengurangi efek kotak hitam
      Sumber: jika melihat https://platform.openai.com/docs/api-reference/runs/listRunS..., Anda bisa tahu persis tahap apa saja yang dilalui chain. Visibilitasnya lebih tinggi daripada sebelumnya
    • Sepertinya komunitas bisa membuatnya dengan 2 minggu kerja di Mistral. Tidak akan sebagus itu, tetapi bisa digunakan secara privat dan gratis, dan performanya kemungkinan akan tertinggal 6–12 bulan dari OpenAI
    • Tetap saja produknya sendiri luar biasa. Saya sudah mencoba alternatifnya, tetapi bahkan Claude pun tidak sebagus ChatGPT
      Claude memberi ceramah etika kira-kira sekali setiap dua jawaban, yang selalu menambah biaya dan membuatnya sulit untuk ingin di-embed ke produk

  • Pada 29 November 2022, jika seseorang tidak punya kontak dengan masyarakat sejak sehari sebelum peluncuran ChatGPT menurut Wikipedia lalu kembali hari ini dan menonton keynote OpenAI, rasanya pasti seperti hilang akal
    Kecepatan perkembangan dan kegunaan produk-produk ini benar-benar mengejutkan

    • Saya berada di penjara saat ChatGPT keluar. Saya hanya melihatnya sebagai headline yang lewat sangat cepat di CNN, lalu menelepon teman dan bertanya, “Apa sebenarnya Chat OPT itu?”
      Kebetulan saya juga baru saja selesai membaca The Singularity is Near untuk kedua kalinya
    • Saya tidak tahu fitur terobosan apa yang dilihat orang di sini
      Code interpreter dan function calling sudah mungkin dilakukan jika memakai LLM kelas atas yang cukup baik mengikuti instruksi dan bisa mengeluarkan token dalam format yang dapat di-parse secara ketat. Output itu tinggal dimasukkan ke parser lalu hasilnya dimasukkan kembali ke LLM. Melakukannya dengan API online seperti ChatGPT memang canggung, tetapi sepenuhnya mungkin
      Chatbot kustom juga sudah mudah dibuat sejak dulu, dan layanan pembuat seperti Poe.com juga sudah ada
      Output JSON juga cukup membutuhkan AI yang bisa menghasilkan probabilitas token dan mengikuti instruksi dengan baik, plus validator skema yang memilih token agar menjadi JSON yang sesuai skema
      GPT-4 128k terlihat revolusioner, tetapi Claude 100k sudah ada, dan evaluasi LLM membesar secara kuadrat terhadap ukuran konteks, jadi mungkin mereka memakai semacam trik untuk memperluas konteks. Sepertinya bukan token yang “utuh”. Kalau saya salah, saya dengan senang hati akan mengakuinya
      Konteks besar memang berguna, tetapi dalam coding, jika memberi konteks yang tepat—misalnya mengisi konteks dengan hasil “go to definition” rekursif 2–3 tingkat untuk simbol tertentu—konteks 8k pun sampai taraf tertentu bisa digunakan
      DALL-E 3 terlihat paling inovatif, tetapi setelah mencobanya, meski kemampuan komposisinya jauh lebih baik daripada SD, masih ada kasus ketika hasilnya berantakan
      Secara keseluruhan, pengumuman hari ini lebih terasa seperti pemolesan dan penyempurnaan di atas terobosan besar tahun lalu
    • Malam itu saya membuka Twitter, dan orang-orang teknologi yang saya ikuti membagikan banyak tangkapan layar percakapan dengan ikon kecil berwarna hijau
      Saya pikir, “Oh, ini tren chatbot yang akan dipakai 5 menit lalu ditinggalkan lagi,” tetapi saya sepenuhnya keliru
    • Apakah orang lain juga merasa aneh bahwa ChatGPT belum genap setahun diluncurkan? Rasanya seperti sudah ada jauh lebih lama
    • Saya terus berhubungan dengan masyarakat, tetapi tetap saja rasanya masih seperti akan hilang akal

  • Whisper V3 sudah dirilis: https://github.com/openai/whisper/commit/c5d42560760a05584c1...
    Sepertinya ini checkpoint baru untuk model large. Akan bagus kalau model-model kecil juga diperbarui, tetapi sepertinya akan mudah diintegrasikan ke hal-hal yang memakai Whisper V2
    Saya juga berencana menambahkannya ke AI suara lokal saya, jadi cukup menantikannya: https://www.microsoft.com/store/apps/9NC624PBFGB7
    Rasanya suara ChatGPT mungkin sudah memakai Whisper V3, tetapi saya masih melihat halusinasi khas Whisper seperti “Thank you for watching!”. Tampaknya ini lebih merupakan perbaikan bertahap daripada perubahan revolusioner

    • Apakah halusinasi seperti itu juga muncul di bagian hening?
      Data latihnya banyak berupa video dengan subtitle, tetapi sebagian video/audio terpotong sementara subtitle masih menyisakan kalimat penutup apa adanya, jadi saya bertanya-tanya apakah sekarang ia mengenali keheningan seperti salam penutup acara TV
      Secara pribadi, bottleneck suara saat ini ada pada infrastruktur di sekitarnya. Misalnya bagaimana mendeteksi awal dan akhir ujaran, serta bagaimana tetap membuat pengguna siap berbicara meski suara atau audio sedang diputar
      Ini komponen yang benar-benar diperlukan, tetapi secara umum belum bekerja dengan baik, dan integrasi hardware/software benar-benar dibutuhkan
    • Saya suka bahwa Sama hanya menghabiskan secara harfiah 16 detik untuk Whisper dalam presentasi 45 menit: https://app.reduct.video/o/eca54fbf9f/p/250fab814f/share/9d9...
    • Apakah masih ada speaker diarization?
    • Sayang sekali Whisper API belum di-upgrade. Saya ingin segera membuatnya bisa dipakai di https://whispermemos.com

  • Secara keseluruhan ada cukup banyak pengumuman: konteks 128.000 token, Assistants API, mode JSON, batas pengetahuan April 2023, GPT-4 Turbo, harga lebih murah, hingga GPT kustom
    https://openai.com/pricing

    • Saya kira GPT-4 sekarang sudah bisa mengakses internet

  • Sekarang Anda bisa membayar 2–3 juta dolar untuk [1] pretraining model gpt-n kustom. Ini tidak terlalu mendapat sorotan, tetapi tampak cukup keren
    Kalau sebuah startup bisa mengeluarkan uang sebesar itu, saya rasa itu jelas akan memberi keunggulan kompetitif
    [1] https://openai.com/form/custom-models
    Saya lupa menambahkan tautannya, jadi saya tambahkan

    • Sepertinya tidak begitu. Karena mereka akan memakai model yang Anda bayar dan mengambil pelanggan Anda
    • Wah, ini tampaknya akan berdampak langsung pada perusahaan kami dalam jangka pendek. Kami mencoba melakukan semuanya secara internal, tetapi hampir tidak berhasil
      Bahkan sekitar 3 juta dolar pun rasanya bisa menjadi opsi yang menarik
    • Jika Anda adalah pelanggan akhir OpenAI, tidak masalah melakukan pretraining model gpt-n untuk bisnis sendiri
      Namun jika Anda adalah perantara OpenAI yang melakukan pretraining model gpt-n untuk pelanggan lain, saya tidak tahu mengapa Anda berpikir OpenAI pada akhirnya tidak akan melewati Anda
      Kalau melihat startup yang dibangun di atas API dan platform, untuk setiap satu kisah sukses ada banyak kuburan akibat perubahan aturan API dan platform

  • Untuk para skeptis di komentar, elephant in the room yang tidak ingin diakui semua orang adalah bahwa GPT-4 masih jauh lebih baik daripada semua yang lain

    • Saya sudah membatalkan langganan GPT-4. Untuk kode, Claude lebih berguna, dan untuk pekerjaan bahasa Mandarin, Qwen lebih baik
      Rata-rata mungkin lebih baik, tetapi saya tidak melihatnya lebih baik untuk semua tugas
      Model lain juga akan terus membaik
    • Satu-satunya yang saya pakai sebagai pendamping GPT-4 adalah Phind, dan itu saja sudah cukup mengesankan
    • Apakah ada sesuatu yang menjanjikan?
      Apakah pelatihan crowdsourcing masih belum memungkinkan?
      Saya ingat betapa cepatnya dunia model difusi bergerak pada tahun pertamanya, tetapi setelah Midjourney, dibandingkan dengan DALL-E 3, rasanya agak stagnan. Apakah model teks juga berada dalam situasi yang sama?
    • Grok? Bercanda

  • Playbook yang diikuti OpenAI mirip dengan AWS. Mulai dari kemampuan mentah seperti pembuatan teks dan pembuatan gambar, membangun fondasi seperti EC2, S3, RDS, lalu menumpuk layanan bernilai tambah seperti Assistants API di atasnya
    Dalam aspek ini, mereka jauh lebih unggul daripada AWS dan pesaing lain

    • Mereka akan bersaing dengan pelanggan sendiri seperti Amazon. Dalam aspek ini pun mereka sudah jauh lebih unggul. Pada dasarnya mereka mengambil aset digital semua orang lalu menjualnya kembali
    • Saya tidak yakin akan menyebutnya “jauh lebih unggul”
      AWS pada dasarnya tidak punya persaingan selama 7 tahun, dan semua cloud besar lain saat itu menutup mata terhadap kenyataan
      OpenAI sudah punya banyak pesaing. Saat ini para pesaing mungkin masih lebih buruk di leaderboard, tetapi ini bukan situasi di mana mereka mengabaikan bidang ini selama bertahun-tahun lalu terlambat mengejar

  • Berdasarkan pengalaman memakai alat seperti ini, apakah alat tersebut juga membantu pemeliharaan codebase? Saya penasaran, baik secara langsung maupun secara tidak langsung lewat kode yang lebih mudah dibaca dan tertata lebih baik.
    Alat seperti ini tampaknya sangat unggul untuk menulis kode baru. Dari pengalaman saya, ada batas atas jumlah kode yang bisa dipelihara oleh satu developer. Pada akhirnya kita tidak bisa lagi menyimpan semuanya di kepala, dan harus berhenti untuk memahami sesuatu, sehingga pemeliharaan menjadi lebih sulit.
    Kalau alat seperti ini membantu menulis lebih banyak kode tetapi tidak membantu pemeliharaan, saya bertanya-tanya apakah akan datang situasi ketika kode baru ditulis dalam jumlah besar dengan sangat cepat, lalu tidak ada yang benar-benar memahami isinya secara mendalam, sehingga semuanya mandek.

    • Alat coding AI open-source saya, aider, unik karena dirancang untuk bekerja bersama codebase yang sudah ada. Anda bisa masuk ke repositori git yang sudah ada dan langsung meminta perubahan, fitur baru, dan sebagainya.
      https://github.com/paul-gauthier/aider
      Alat ini menganalisis abstract syntax tree dari seluruh kode repositori untuk membuat “peta repositori”, yang membantu GPT memahami codebase yang lebih besar.
      Semua ini dibuat dengan tree-sitter, alat yang sama dengan yang menggerakkan pencarian dan navigasi kode di GitHub serta banyak IDE populer.
      https://aider.chat/docs/repomap.html
    • Benar. Perusahaan yang “memperkuat” developer junior dengan LLM akan mendapat banyak pemberitaan positif, tetapi masih harus dilihat seberapa konsisten pasar akan menghargai tindakan ini.
      Konsumen mungkin akan langsung menyadarinya, sementara di sisi B2B mereka bisa saja tertipu selama beberapa tahun sebelum akhirnya pergi dan beralih ke pesaing tradisional yang kualitasnya lebih tinggi, yang mempekerjakan talenta senior.
      Namun bisa saja muncul model yang pandai menumbuhkan dan memelihara codebase yang konsisten. Melihat posisi kita sekarang, itu tidak tampak seperti tugas yang mustahil. Tetapi seperti yang Anda tunjukkan, kita masih cukup jauh dari sana.
    • Saya sudah memikirkan ini dari dua sudut pandang selama beberapa waktu.
      Pertama, era software engineer tradisional bisa berakhir dan era debugger bisa datang. Para debugger manusia akan menghabiskan sepanjang hari memasang breakpoint dan mencari bug di lautan kode yang dibuat LLM.
      Kedua, proses perekrutan akan bergeser dari soal Leetcode menjadi “nyalakan debugger dan cari apa yang salah dari kode ini”.
    • Ada plugin CodeGPT yang cukup bagus untuk IntelliJ dan VS Code. Pada dasarnya Anda bisa memilih kode dan meminta kritik, refactoring, optimasi, pencarian bug, dokumentasi, penjelasan, dan sebagainya.
      Konteks yang lebih besar berarti secara potensial seluruh codebase bisa dimasukkan. Kebanyakan orang bahkan kesulitan mempertahankan detail codebase kecil di kepala mereka.
      Langkah berikutnya adalah integrasi yang lebih dalam dengan alat, untuk memastikan apa pun yang diubah, tes tetap lolos dan kode tetap bisa dikompilasi. Menulis tes juga termasuk salah satu hal yang bisa dilakukan alat ini.
      Jadi menyelamatkan codebase legacy dengan bantuan AI yang semula sulit ditangani secara ekonomis bisa menjadi mungkin.
      Dalam beberapa tahun ke depan, saya memperkirakan produktivitas developer berbantuan AI akan meningkat jauh. Secara pribadi, saya rasa ini akan bekerja lebih baik pada bahasa bertipe statis, karena jauh lebih mudah bagi alat untuk melakukan penalaran.
    • Saat ini kami melakukan ini untuk pengujian API. Silakan cek situs web kami.
      https://ai.stepci.com

  • “Dalam beberapa minggu ke depan, kami juga berencana merilis kemampuan untuk mengembalikan probabilitas log dari token output yang paling mungkin dihasilkan oleh GPT-4 Turbo dan GPT-3.5 Turbo, yang akan berguna untuk membuat fitur seperti autocomplete dalam pengalaman pencarian.”
    Ini cukup mengejutkan. Apakah mereka tidak khawatir orang-orang bukan hanya akan melatih model dari output GPT-4 untuk mencuri kemampuan model, tetapi juga melakukan distilasi pengetahuan logit secara serius?
    Semua orang mengira alasan mereka memblokir akses logit sejak awal adalah itu.

    • Berapa GB logit yang dibutuhkan untuk merekayasa balik model? Selain itu, jika mereka memakai gabungan beberapa model, orang akan menemui jalan buntu.
    • Saya juga berpikir begitu. Dugaan saya, mereka sudah melakukan banyak analisis dan menilai ini cukup aman.
      “Paling mungkin” bisa saja secara harfiah hanya beberapa token, dan mungkin hanya mencakup bagian yang sangat kecil dari distribusi keseluruhan.
    • Di mata mereka, sepertinya perintah eksekutif menyelesaikan masalah itu. Dengan cara membuat model terbuka menjadi ilegal.
      Mungkin penilaian itu benar.