- Model frontier OpenAI hadir di runtime agen native AWS milik Amazon Bedrock, melampaui sekadar penyediaan model dan dipadukan dalam bentuk managed agent untuk perusahaan
- Bedrock Managed Agents menggabungkan identity, permissions, logging, governance, dan deployment, sehingga pelanggan dapat menjalankan agen lebih cepat di lingkungan enterprise tanpa harus merakit sendiri komponen-komponen tersebut
- Saat ini, performa agen sangat dipengaruhi bukan hanya oleh model itu sendiri, tetapi juga oleh tingkat keterpaduan harness yang mencakup tools, state, memory, permissions, dan evals; AWS dan OpenAI menangani keterpaduan ini sebagai produk bersama
- Data pelanggan tetap berada di dalam AWS VPC, model OpenAI dijalankan melalui Bedrock, dan kanal dukungan juga dioperasikan dengan AWS sebagai pusatnya
- Seperti cloud awal yang membuka jalan bagi startup, integrasi kali ini juga berada di atas arus yang menurunkan hambatan adopsi AI, sekaligus menunjukkan upaya memposisikan diri sebagai lapisan platform baru seiring cepatnya pertumbuhan permintaan frontier
AWS, startup, dan kecepatan adopsi AI
- Model cloud AWS pada masa awal memungkinkan penggunaan infrastruktur yang sebelumnya hanya dimiliki perusahaan besar hanya dengan beberapa dolar dan kartu kredit, tanpa lebih dulu menentukan apa yang akan dibuat pengembang, sehingga sangat memperluas cakupan kreasi di internet
- Dampak adopsi AI juga dinilai serupa, atau bahkan lebih besar
- Struktur yang mengharuskan belajar coding selama 10 tahun untuk bisa membuat aplikasi mulai melemah
- Bahkan tanpa tim beranggotakan ratusan orang dan waktu pengembangan yang panjang, tim kecil kini bisa membangun sesuatu dengan cepat lalu mengulang dan menyempurnakannya
- Ini berfungsi sebagai sarana yang membuka inovasi baru di berbagai bidang di seluruh dunia
- Berbeda dari masa awal cloud, kecepatan adopsi AI berkembang sangat cepat
- Pada 2006, cloud harus dijelaskan panjang lebar dengan pertanyaan seperti "kenapa perusahaan toko buku menyediakan komputasi", tetapi AI dipahami orang jauh lebih cepat
- Peralihan dari chatbot cerdas sederhana ke pelaksanaan pekerjaan internal perusahaan memang membutuhkan edukasi, tetapi tetap berlangsung relatif cepat jika dilihat dari laju perubahan teknologinya
- Pergeseran platform startup dirangkum menjadi empat gelombang: Internet, cloud, mobile, AI
- Pada masa awal YC, cloud seperti AWS mengubah keadaan sehingga perusahaan bisa dimulai dengan modal kecil
- Hambatan besar berupa harus menyewa ruang colo, merakit server, dan lebih dulu mengumpulkan uang dalam jumlah besar pun banyak berkurang
- Anggapan bahwa biaya server saja akan memakan puluhan ribu dolar runtuh, sehingga struktur wirausaha bermodal kecil menjadi mungkin
- Startup lebih mudah mengalahkan perusahaan besar pada masa transisi platform besar ketika mereka bisa bergerak dengan siklus yang lebih pendek dan modal yang lebih sedikit
- Saat ini, di atas AI pun arah tersebut terlihat serupa
- Di dalam YC, bahkan antara awal dan akhir satu batch, ekspektasi pendapatan perusahaan yang bagus bisa berubah, menunjukkan laju pertumbuhan pendapatan kini bergerak jauh lebih cepat daripada masa lalu
- AWS disebut masih menjadi cloud yang digunakan banyak startup yang sedang berada pada tahap ekspansi
- scale, availability, security, reliability, ekosistem partner ISV di AWS, serta basis pelanggan di AWS menjadi kekuatan yang dipaketkan bersama
- Selain kredit, AWS juga menyediakan saran desain sistem dan saran go-to-market, serta terus memperlakukan startup sebagai fondasi penting bagi AWS
- Setiap kuartal, AWS bertemu langsung dengan startup untuk memastikan produknya benar-benar cocok
- Di startup saat ini, pola penggunaan AWS untuk compute umum dan OpenAI API untuk AI muncul sangat umum
Bedrock Managed Agents dan arah produk bersama
- Bedrock Managed Agents diposisikan bukan sekadar sebagai masuknya model OpenAI ke AWS, tetapi sebagai bentuk menempatkan model frontier OpenAI ke dalam runtime agen native AWS
- Elemen operasional seperti identity, permission state, logging, governance, dan deployment ikut dibundel bersama
- AI tahap berikutnya sedang bergerak melampaui pola memasukkan teks lalu menerima teks, menuju stateful agent yang benar-benar mengerjakan pekerjaan di dalam perusahaan
- Ungkapan "virtual co-workers" memang tidak sempurna, tetapi diperlakukan sebagai istilah yang paling tidak janggal
- Seluruh industri juga belum sepenuhnya menetapkan apa sebutan yang tepat untuk hal ini dan bagaimana tepatnya akan digunakan
- Codex disajikan sebagai contoh yang jelas dari arus ini
- Yang penting adalah pekerjaan yang diinginkan benar-benar terjadi, dan pengguna tidak lagi membedakan apakah kontribusi lebih besar datang dari model atau dari harness
- Tingkat keterpaduan model dan harness diperlakukan sebagai inti performa agen
- tools, state, memory, permissions, dan evals menentukan bagaimana sistem benar-benar bekerja
- Ini tidak sama persis dengan pre-training, tetapi keterpaduan terjadi baik pada level post-training maupun prompt
- tool-calling yang pada awalnya tampak terpisah juga makin terintegrasi lebih dalam ke proses pelatihan seiring waktu
- Ke depan, ada kemungkinan model dan harness, serta pre-training dan post-training, akan terhubung lebih kuat lagi
- Tingkat kematangan industri masih digambarkan sangat dini, sampai disamakan dengan era Homebrew Computer Club
- Kerja bersama AWS dan OpenAI berfokus pada penggabungan komponen yang sebelumnya harus dirakit sendiri oleh pelanggan, agar mereka bisa lebih cepat mencapai nilai di lingkungan enterprise
- Pelanggan ingin model dan agen dapat mempertahankan memori dan bekerja baik bersama-sama
- Mereka ingin menghubungkan bukan hanya tool pihak ketiga, tetapi juga tool internal, data internal, aplikasi internal, dan lingkungan operasional internal mereka
- Pekerjaan integrasi seperti ini sampai sekarang merupakan area yang harus ditangani masing-masing pelanggan sendiri
- Dalam produk bersama ini, identity dibangun langsung di dalamnya, dan autentikasi database juga dirancang agar berlangsung di dalam AWS VPC
- Tujuannya bukan sekadar meningkatkan kenyamanan, tetapi juga memungkinkan hal-hal yang bahkan jika dirakit dengan susah payah memakai pendekatan lama tetap tidak bisa diimplementasikan secara andal
- Saat ini, pengembang digambarkan masih mengalami terlalu banyak rasa sakit dan pekerjaan manual ketika membangun sesuatu dengan memanfaatkan model
- Bahkan dalam penggunaan ChatGPT, masih banyak salin-tempel dan kombinasi prompt yang rumit
- Gesekan seperti ini akan hilang, dan saat ini masih dianggap sebagai tahap yang sangat awal dan tidak nyaman
- Kolaborasi ini juga merupakan hasil pertemuan antara permintaan pelanggan yang sudah berada di AWS dan menginginkan teknologi OpenAI, dengan arah OpenAI yang ingin memperluas aksesibilitas bagi pelanggan AWS
- Penekanan yang lebih kuat ada pada pembuatan produk baru bersama, bukan sekadar distribusi model
- Harapannya, ketika menoleh kembali setahun dari sekarang, yang lebih menonjol bukanlah "model OpenAI bisa diakses lewat AWS", melainkan pentingnya produk baru ini
- Dari sisi model, harness, dan capability, ini menjadi lebih dekat ke cara komputasi baru yang berbeda dari pemanggilan API model yang ada selama ini
AgentCore, Managed Agents, model operasional
- AgentCore diperkenalkan sebagai kumpulan primitif agen seperti memori, lingkungan eksekusi yang aman, dan otorisasi
- Bedrock Managed Agents diposisikan sebagai produk tingkat lebih tinggi yang dibangun bersama oleh AWS dan OpenAI dengan menggabungkan model OpenAI dan berbagai elemen operasional di atas komponen AgentCore
- Hanya dengan AgentCore pun, Anda bisa langsung membuat agentic workflow
- Sudah ada pelanggan yang menjalankannya di production dan menggunakannya secara nyata
- Saat ini pun dimungkinkan menggunakan AgentCore sambil memanggil model OpenAI secara eksternal
- Memang bukan dalam bentuk yang terintegrasi secara native di dalam Bedrock, tetapi ada pelanggan yang langsung memanggil model OpenAI yang berada di cloud lain
- AWS menangani ini sebagai ekosistem terbuka
- Cara membangun sendiri dengan menggabungkan kapabilitas yang diinginkan dapat terus berlanjut ke depan
- Seperti orang yang merakit komputer sendiri di rumah, mereka melihat akan tetap ada builder yang ingin terus membuat agen sendiri untuk waktu yang lama
- Banyak pelanggan menginginkan cara yang lebih mudah tanpa harus mengatur sendiri semua bagiannya, dan peluncuran kolaborasi kali ini menargetkan permintaan tersebut
- Penggunaan OpenAI di Azure diringkas sebagai pengalaman akses API langsung, sedangkan pengumuman kali ini di Amazon dibedakan sebagai managed service
- Layanan managed agent ini saat ini berjalan eksklusif dengan Amazon
- Ini bukan sekadar memakai Amazon API, melainkan diperlakukan sebagai joint effort yang dijalankan bersama oleh kedua perusahaan
- Data pelanggan tetap berada di dalam AWS
- Semuanya tetap berada di dalam VPC dan dilindungi di dalam lingkungan Bedrock
- Model OpenAI dijalankan melalui Bedrock, dan infrastrukturnya menggunakan campuran Trainium dan GPU
- Sebagiannya dirangkum sebagai isu waktu, sebagiannya sebagai isu capabilities
- Arah yang disampaikan adalah bahwa seiring waktu, porsi yang lebih besar akan berpindah ke Trainium
- OpenAI juga menunjukkan ekspektasi besar terhadap fakta bahwa model mereka berjalan di Trainium
- Saat mengoperasikan model OpenAI di lingkungan AWS, jalur dukungan tingkat pertama ditangani oleh AWS
- Pelanggan akan mendapatkan bantuan melalui AWS support dan perwakilan akun AWS mereka
- Dalam proses implementasi, personel dari pihak OpenAI juga ikut terlibat untuk bersama-sama menyelaraskan cara pemanfaatannya
- Bug yang memerlukan bantuan OpenAI akan dieskalasikan oleh AWS ke OpenAI
Lokal, cloud, otorisasi, dan batas keamanan
- Codex awalnya dimulai di cloud, tetapi ditunjukkan bahwa dalam praktiknya alurnya kembali ke eksekusi lokal
- Alasan lokal lebih mudah adalah karena lingkungannya sudah ada di sana
- Pengaturan komputer, data, dan akses file sudah tersedia, sehingga konfigurasi tambahan lebih sedikit
- Walau bukan kondisi akhir, dalam jangka pendek kemudahan penggunaan lebih berpengaruh
- Dalam jangka panjang, arah yang dianggap berguna adalah agen berjalan di cloud, dan untuk pekerjaan yang sangat berat atau saat komputer perlu ditutup, pekerjaannya dialihkan ke cloud
- Klien lokal tetap punya keunggulan
- Seperti aplikasi iPhone yang juga memiliki komponen lokal, ada keunggulan dari sisi connectivity, latency, local compute, serta akses file dan aplikasi
- Namun laptop itu sendiri tidak bisa di-scale-out, sehingga batas skalabilitasnya jelas
- Di lingkungan perusahaan, pendekatan lokal menjadi lebih sulit
- Bahkan ketika sudah dibagikan antara dua orang saja, tingkat kesulitannya meningkat
- Menangani permissions dan security boundary menjadi lebih kompleks
- Pada akhirnya dibutuhkan bridge yang menghubungkan lokal dan cloud
- Akan terasa lebih alami jika agen dikembangkan di lingkungan yang sama dengan tempat deployment-nya, dan desain identity dan permission masih merupakan area yang jauh dari selesai
- Apakah agen harus langsung memakai akun manusia
- Apakah agen harus memiliki akun terpisah
- Masih ada persoalan seperti bagaimana membedakannya ketika ada banyak agen
- Bahkan primitif seperti “agen milik Ben login sebagai Ben tetapi tetap meninggalkan penanda bahwa itu agen, bukan Ben yang sebenarnya” pun belum ada
- Semakin agen masuk ke tenaga kerja dan otonomi serta kompleksitas tugasnya meningkat, model kontrol akses dan otorisasi di dalam perusahaan maupun di internet secara umum juga perlu ikut berevolusi
- Semakin dipindahkan ke cloud, organisasi pusat bisa memiliki kontrol keamanan yang lebih kuat
- Pelanggan menyukai potensi model dan agen yang kuat, tetapi yang paling mereka khawatirkan adalah insiden yang secara tidak sengaja bisa menghancurkan perusahaan
- Batas bisa dikendalikan dengan membuatnya berjalan di dalam VPC, melewati gateway tertentu, atau memberi otorisasi seperti role di dalam lingkungan
- Penjelasannya berlanjut bahwa berkat struktur keamanan yang dibangun AWS selama 20 tahun, bukan hanya startup tetapi juga bank global, institusi layanan kesehatan, dan lembaga pemerintah dapat menggunakannya
- Semakin organisasi menghindari risiko, guardrail di dalam sandbox justru bisa memperluas adopsi
Stack AI dan arsitektur enterprise
- Pelanggan enterprise menginginkan lapisan manajemen yang menghubungkan data dan agen, sekaligus menyediakan pelacakan pengeluaran token dan pengawasan
- Pelanggan perusahaan besar secara konsisten meminta bentuk yang menggabungkan agent runtime environment, lapisan manajemen, dan workspace untuk karyawan
- Sebagai contoh workspace untuk karyawan, ditunjukkan bentuk seperti Codex
- Permintaan untuk paket seperti ini cukup konsisten, tetapi penawaran nyatanya masih perlu dibangun lebih lanjut
- Mereka sepakat bahwa di dalam organisasi dibutuhkan middleware / middle layer yang melintasi banyak database, aplikasi SaaS, dan data yang tersebar
- Dalam struktur saat ini, tampaknya dibutuhkan baik user agent layer yang menangani interaksi pengguna maupun lapisan manajemen perusahaan
- Di sisi pengguna, digunakan bentuk yang memungkinkan interaksi dengan banyak agen, dan membangun agar masing-masing agen bisa saling berbicara
- Di lapisan manajemen perusahaan, berbagai control yang diperlukan saat AI menelusuri file system dan sebagainya menjadi penting
- Namun jika model menjadi cukup pintar, tetap terbuka kemungkinan untuk merancang ulang seluruh struktur ini
- Struktur dua lapis saat ini adalah bentuk yang disesuaikan dengan dunia saat ini
- Belum diketahui secara pasti seperti apa arsitektur masa depan nantinya
- Pada titik tertentu, ini bisa mengarah pada penilaian bahwa “hal seperti ini seharusnya memang ada langsung di dalam model”
- Melalui proses pelanggan benar-benar menggunakan dan membangunnya, mereka akan belajar apa yang perlu dibuat lebih mudah, lebih cepat, dan lebih baik
Permintaan, kapasitas, dan pelapisan model
- OpenAI mengerahkan pembelian komputasi dalam jumlah besar dan upaya yang signifikan ke bisnis ini, serta mengharapkan pendapatan yang sepadan
- Permintaan terhadap kecerdasan diperlakukan sebagai permintaan yang nyaris tidak memiliki batas atas jika harganya turun cukup rendah
- Saat ini, dibanding harga, kekurangan kapasitas tampak sebagai kendala yang lebih besar
- Terlepas dari harga, lebih banyak pelanggan yang menginginkan capacity tambahan dan bersedia membayar lebih dibanding pelanggan yang memperdebatkan harga
- Disampaikan keyakinan bahwa biaya kecerdasan pada tingkat saat ini akan turun drastis di masa depan
- Fakta bahwa sebagian besar permintaan pasar secara keseluruhan terkonsentrasi pada absolute frontier diperlakukan sebagai sinyal yang lebih mengejutkan dari perkiraan
- Dibanding asumsi bahwa model generasi sebelumnya sudah cukup, kecenderungan untuk terus menginginkan model frontier terbaru muncul jauh lebih kuat
- Seperti biaya komputasi yang turun besar selama puluhan tahun tetapi volume penjualan terus meningkat, AI juga diperkirakan bisa mengikuti jalur perluasan permintaan yang serupa
- Saat ini, untuk melakukan pekerjaan yang berguna, dalam banyak kasus dibutuhkan model frontier, sehingga semua orang menginginkan yang itu
- Seiring waktu, diperkirakan akan terbentuk struktur campuran di mana model kecil yang murah dan cepat hidup berdampingan dengan model superbesar
- Sebagian model kecil seiring waktu bahkan bisa menangani tugas yang saat ini belum mampu ditangani oleh model OpenAI terbaru
- Model superbesar bisa diarahkan ke masalah yang lebih besar seperti pengobatan kanker
- Saat ini kita masih berada di tahap awal, dan fakta bahwa tingkat permintaan serta pertumbuhan seperti ini muncul bersamaan sangat memperbesar kemungkinan ke depan
Trainium, abstraksi, komputasi internal
- Terkait pertanyaan bahwa Trainium, terlepas dari namanya, ke depan justru bisa memiliki kehadiran yang lebih besar di sisi inference, AWS menjawab bahwa ini berguna untuk training maupun inference
- Ditekankan bahwa pelanggan akan lebih banyak menemui Trainium melalui abstraksi managed service alih-alih menanganinya secara langsung
- Seperti halnya kebanyakan pelanggan juga tidak berhadapan langsung dengan GPU, saat menggunakan OpenAI atau Claude, yang mereka interaksikan sebenarnya bukan GPU, Trainium, atau TPU, melainkan interface
- Ke depan, accelerator chip kemungkinan besar tetap akan bekerja di balik sejumlah kecil model dan layanan besar
- Jumlahnya mungkin 5, 10, 20, atau 100, tetapi tidak akan berkembang menjadi jutaan orang yang memprogramnya secara langsung
- Pelatihan model membutuhkan biaya besar dan tingkat keahlian operasional yang tinggi
- Tim OpenAI sangat unggul dalam kemampuan mengekstrak nilai dari cluster komputasi besar, tetapi tidak banyak pihak yang memiliki tim seperti itu
- OpenAI mengatakan bahwa pada awalnya mereka memandang diri mereka seperti token factory, lalu segera mengoreksinya bahwa mereka lebih dekat ke intelligence factory
- Yang diinginkan pelanggan bukanlah jumlah token, melainkan menerima unit kecerdasan terbaik dengan biaya serendah mungkin dalam kapasitas yang memadai
- GPT-5.5 disebut sebagai contoh bahwa biaya per token lebih tinggi daripada 5.4, tetapi jumlah token yang dibutuhkan untuk mendapatkan jawaban yang sama jauh lebih sedikit
- Pengguna lebih peduli apakah pekerjaan yang mereka inginkan sudah selesai daripada berapa token yang dihabiskan untuk jawabannya
- Baik model yang lebih besar berjalan dengan lebih sedikit token, atau model yang lebih kecil berjalan dengan lebih banyak token, baik memakai GPU maupun Trainium, pelanggan menginginkan manfaat besar dengan biaya lebih rendah daripada implementasi internal tertentu
- Bahkan saat membuat agen baru di dalam Codex atau Stateful Runtime Environment untuk Amazon Bedrock, pengguna semestinya tidak perlu menyadari pilihan komputasi internal
- Penurunan penggunaan token terutama merupakan hasil dari peningkatan model, sementara pengaruh harness hanya tercermin sebagian
- Menjawab apakah AWS akan memperluas managed service serupa ke model lain, AWS hanya mengatakan bahwa saat ini mereka fokus pada kolaborasi dengan OpenAI
Perkembangan pasar dan strategi platform
- ChatGPT dinilai sebagai produk konsumen baru berskala besar pertama sejak Facebook
- OpenAI menyatakan bahwa mereka meraih hasil yang cukup baik bukan hanya di ChatGPT, tetapi juga di API dan terutama Codex
- Ada juga refleksi bahwa sebelumnya fokus lebih besar diberikan pada kemungkinan antarmuka bahasa baru mengubah cara orang mencari informasi di internet
- Google tetap dinilai sebagai phenomenal company dari sisi breadth dan depth
- Sejak awal AWS telah memilih strategi yang berpusat pada partner, dan mengarahkan strukturnya agar jika partner berhasil, AWS juga berhasil
- Ini berbeda dari pendekatan yang ingin memiliki semuanya secara langsung, dan lebih dekat ke upaya memperbesar pie
- Posisi mereka adalah pelanggan harus bisa memilih yang paling cocok untuk diri mereka, baik itu produk mereka sendiri maupun produk partner
- Bedrock juga dirancang di atas strategi ini agar mendukung cakupan model yang luas dan beragam fitur
- Pendekatan serupa juga telah dipertahankan di area lain seperti database dan platform komputasi
- Di lapisan infrastruktur, AWS memang mendorong kuat komponen inti miliknya seperti S3, tetapi semakin ke atas dalam stack, mereka menilai menerima ekosistem partner yang lebih luas juga lebih menguntungkan bagi pelanggan
- Peran kedua perusahaan digambarkan sebagai OpenAI di Software, AWS di Infrastructure, dan bersama-sama membangun Platform
- Karena kemampuan model diperkirakan akan berkembang pesat dalam satu tahun ke depan, mereka menilai saat ini adalah waktu yang tepat untuk bersama-sama membangun platform
1 komentar
Komentar Hacker News
Karena bisa diakses melalui Amazon sebagai pihak perantara yang "tepercaya". OpenAI dilarang dan tidak dipercaya
Saya belum tentu setuju dengan penilaian tim legal organisasi-organisasi ini, tetapi sepertinya mereka membaca syarat layanan jauh lebih teliti daripada saya
Kita lihat saja apakah pengumuman ini akan mengubah keadaan, tetapi saat ini menurut saya OpenAI terlihat cukup tertinggal di banyak sisi
Meski begitu, di industri AI, selisih 2~8 minggu juga bukan jarak yang sangat besar, jadi ini bisa jadi lebih masalah persepsi daripada dampak nyata
Setidaknya di gelembung informasi saya, reputasi OpenAI hancur karena Sam Altman, dan karena terlihat tidak etis serta cukup tidak stabil jika melihat tuntutan terkait fabs, jadi saya tidak terlalu menyukainya
Hanya memakai AWS saja tidak cukup, dan meskipun AWS yang menjalankan modelnya, kalau ingin ZDR yang benar-benar memadai, tetap harus bernegosiasi terpisah dengan pihak tersebut [0]
[0]: https://platform.claude.com/docs/en/build-with-claude/claude...
Keduanya jelas sama-sama diuntungkan, dan budaya feedback loop dari pelanggan AWS kemungkinan membantu Anthropic lebih cepat siap menangani kebutuhan enterprise
Soalnya yang di Azure sudah ada sejak beberapa waktu lalu
Sementara Anthropic fokus pada satu hal, dan mungkin itu sebabnya selalu ada di jajaran teratas benchmark SWE
AWS menyatakan bahwa input dan output tidak dibagikan ke penyedia model, dan juga tidak digunakan untuk pelatihan model dasar [1]
Selain itu, dalam kasus NYT v. OpenAI, OpenAI menerima perintah preservasi pada Mei 2025, dan pengadilan pada praktiknya memaksa penyimpanan log output ChatGPT tanpa batas waktu
Ini termasuk percakapan yang sudah dihapus pengguna yang tadinya akan dihapus dalam 30 hari [2]
Jadi bagi organisasi yang terikat HIPAA/GDPR, syarat seperti ini bahkan membuat mereka tidak bisa ikut sejak garis start
[1] https://aws.amazon.com/bedrock/faqs/
[2] https://openai.com/index/response-to-nyt-data-demands/
Menurut saya, politik kantor atau review birokratis biasanya lebih sering mengikat orang-orang di level bawah agar sibuk dengan sisa-sisa fitur dan pekerjaan operasional
Jika modelnya cukup mirip dengan varian OSS dari GPT, mungkin ternyata tidak serumit yang dibayangkan
Karena kuantisasi, silikon serving kustom, batching, dan optimasi inferensi lainnya, perilaku versi hosting bisa berbeda dari versi penyedia aslinya
Makalah ini tidak persis membahas situasi yang sama, karena membahas Llama open weight yang bisa diaudit, tetapi cukup baik menunjukkan gejala serupa
https://arxiv.org/pdf/2410.20247
Sepertinya margin nyata juga bisa lumayan besar di sana
Saya juga penasaran apakah ini berkaitan langsung dengan arah perpisahan dari Microsoft
Dari kasus-kasus di sekitar saya saja, untuk deployment enterprise yang serius, OpenAI hampir diabaikan karena penawaran di Azure kurang bagus dan di luar itu juga tidak ada jalur yang ramah perusahaan
Kelihatannya OpenAI sadar bahwa terus membiarkan pasar enterprise jatuh ke kombinasi Anthropic dan AWS akan jadi fatal, jadi mereka bergerak untuk mengejar
https://news.ycombinator.com/item?id=47921248
Industri teregulasi seperti keuangan dan layanan kesehatan sering kali sudah lebih dulu menandatangani kontrak dengan AWS yang mencakup komitmen residensi data
OpenAI di atas Bedrock memungkinkan organisasi-organisasi seperti ini tidak perlu bernegosiasi DPA secara terpisah dengan OpenAI, jadi ini bisa menjadi terobosan yang jauh lebih besar daripada yang terlihat di atas kertas
Subprosesor berkurang satu, dan karena datanya sudah ada di AWS, kekhawatiran soal mengirimkannya ke tempat lain juga berkurang
Kecuali AWS akhirnya menyerah dan mencoba membuat Bedrock benar-benar layak dipakai dengan menambahkan kompatibilitas OpenAI API
Mendukung Responses dan Chat Completions, jadi bisa lihat di sini https://docs.aws.amazon.com/bedrock/latest/userguide/endpoin...
Bahkan untuk postingan HN kali ini saja, ada 4 tautan pengumuman yang muncul bersamaan, dan itu bukan kebetulan
Karena satu pernyataan yang salah di waktu yang salah bisa mengguncang investasi miliaran dolar, pesannya mau tak mau harus dipoles sangat hati-hati dan dirilis bertahap