- Model frontier OpenAI masuk ke runtime agen native AWS di Amazon Bedrock, melampaui sekadar penyediaan model dan dipadukan dalam bentuk managed agent untuk perusahaan
- Bedrock Managed Agents menggabungkan identity, permissions, logging, governance, deployment, sehingga pelanggan dapat menjalankan agen lebih cepat di lingkungan perusahaan tanpa harus merakit sendiri komponen-komponen tersebut
- Saat ini, performa agen sangat ditentukan bukan hanya oleh model itu sendiri, tetapi juga oleh tingkat keterpaduan harness yang mencakup tools, state, memory, permissions, evals; AWS dan OpenAI menangani integrasi ini sebagai produk bersama
- Data pelanggan tetap berada di dalam AWS VPC, model OpenAI dijalankan melalui Bedrock, dan dukungan juga dioperasikan dengan AWS sebagai pusatnya
- Seperti cloud awal yang dulu membuka jalan bagi startup, integrasi ini juga menurunkan hambatan adopsi AI dan menunjukkan upaya untuk menempatkan diri sebagai lapisan platform baru seiring cepatnya pertumbuhan permintaan frontier
AWS, startup, dan kecepatan adopsi AI
- Model cloud awal AWS membuat infrastruktur yang sebelumnya hanya dimiliki perusahaan besar bisa digunakan hanya dengan beberapa dolar dan kartu kredit, tanpa perlu menentukan lebih dulu apa yang akan dibangun developer, sehingga sangat memperluas cakupan kreasi di internet
- Dampak adopsi AI dinilai serupa, atau bahkan lebih besar
- Struktur yang mengharuskan orang belajar coding selama 10 tahun untuk membuat aplikasi mulai melemah
- Bahkan tanpa tim ratusan orang dan waktu pengembangan yang panjang, tim kecil kini bisa membangun dengan cepat dan melakukan iterasi berulang
- Ini menjadi sarana pembuka inovasi baru di berbagai bidang di dunia
- Tidak seperti masa awal cloud, kecepatan adopsi AI berkembang sangat cepat
- Pada 2006, cloud perlu dijelaskan panjang lebar dengan pertanyaan seperti, "kenapa perusahaan toko buku menyediakan komputasi", tetapi AI jauh lebih cepat dipahami orang
- Proses perpindahan dari chatbot cerdas sederhana ke pelaksanaan pekerjaan internal perusahaan memang butuh edukasi, tetapi dibanding laju perubahan teknologi, prosesnya relatif cepat
- Pergeseran platform startup diringkas menjadi empat gelombang: Internet, cloud, mobile, AI
- Pada awal YC, cloud seperti AWS mengubah keadaan sehingga perusahaan bisa didirikan dengan modal kecil
- Hambatan berupa menyewa ruang colo, merakit server, dan lebih dulu mengumpulkan banyak uang turun drastis
- Anggapan bahwa biaya server saja akan memakan puluhan ribu dolar pun runtuh, sehingga struktur startup bermodal kecil menjadi mungkin
- Startup lebih mudah mengalahkan perusahaan besar saat masa transisi platform besar jika bisa bergerak dengan siklus lebih pendek dan modal lebih kecil
- Di atas gelombang AI saat ini, arahnya terlihat serupa
- Di internal YC, bahkan antara awal dan akhir satu batch, ekspektasi pendapatan perusahaan bagus bisa berubah, menunjukkan kecepatan pertumbuhan pendapatan yang jauh lebih tinggi daripada masa lalu
- AWS masih diposisikan sebagai cloud yang digunakan banyak startup yang sedang memasuki tahap scale-up
- scale, availability, security, reliability, ekosistem partner ISV di AWS, dan basis pelanggan di AWS menjadi kekuatan yang terikat bersama
- Selain kredit, AWS juga memberi saran desain sistem dan go-to-market, serta terus memperlakukan startup sebagai fondasi inti AWS
- Setiap kuartal, mereka bertemu langsung dengan startup untuk memastikan produknya benar-benar sesuai kebutuhan
- Di startup masa kini, pola menggunakan AWS untuk compute umum dan OpenAI API untuk AI sangat umum terlihat
Bedrock Managed Agents dan arah produk bersama
- Bedrock Managed Agents diposisikan bukan sekadar OpenAI model hadir di AWS, tetapi sebagai bentuk memasukkan model frontier OpenAI ke dalam runtime agen native AWS
- Elemen operasional seperti identity, permission state, logging, governance, deployment digabungkan bersama
- AI tahap berikutnya sedang bergerak melampaui pola memasukkan teks dan menerima teks, menuju stateful agent yang benar-benar menjalankan pekerjaan di dalam perusahaan
- Ungkapan "virtual co-workers" tidak dianggap sempurna, tetapi diperlakukan sebagai istilah yang paling tidak canggung
- Industri secara keseluruhan juga belum sepenuhnya menentukan apa sebutan yang tepat dan bagaimana objek ini seharusnya digunakan
- Codex diajukan sebagai contoh yang jelas dari arus ini
- Yang paling penting adalah pekerjaan yang diinginkan benar-benar terjadi, dan pengguna pada akhirnya tidak akan membedakan mana kontribusi model dan mana kontribusi harness
- Tingkat keterpaduan model dan harness diperlakukan sebagai inti performa agen
- tools, state, memory, permissions, evals menentukan bagaimana sistem benar-benar bekerja
- Ini tidak sama persis dengan pre-training, tetapi integrasi terjadi baik pada level post-training maupun prompt
- tool-calling yang awalnya tampak terpisah juga makin lama makin terintegrasi lebih dalam ke proses pelatihan
- Ke depan, model dan harness, serta pre-training dan post-training, kemungkinan akan makin terikat kuat
- Kematangan industri masih digambarkan sangat awal, sampai disamakan dengan era Homebrew Computer Club
- Kerja sama AWS dan OpenAI berfokus pada penggabungan hal-hal yang sebelumnya harus dirakit sendiri oleh pelanggan, agar mereka bisa lebih cepat sampai ke nilai nyata di lingkungan perusahaan
- Pelanggan ingin model dan agen bekerja baik bersama sambil mempertahankan memori
- Mereka ingin menghubungkan bukan hanya tool pihak ketiga, tetapi juga tool sendiri, data sendiri, aplikasi sendiri, dan lingkungan operasional sendiri
- Integrasi semacam ini selama ini merupakan area yang harus ditangani sendiri oleh tiap pelanggan
- Dalam produk bersama, identity dibangun langsung, dan autentikasi database juga dirancang berlangsung di dalam AWS VPC
- Tujuannya bukan hanya meningkatkan kemudahan, tetapi juga membuat hal-hal yang bahkan dengan perakitan lama tetap sulit diwujudkan secara andal menjadi mungkin
- Saat ini developer digambarkan masih mengalami terlalu banyak rasa sakit dan kerja manual saat membangun sesuatu dengan model
- Bahkan dalam penggunaan ChatGPT, masih banyak copy-paste dan kombinasi prompt yang rumit
- Friksi ini akan hilang, tetapi saat ini masih merupakan tahap yang sangat awal dan tidak nyaman
- Kolaborasi ini juga merupakan hasil pertemuan antara permintaan pelanggan yang sudah berada di AWS namun menginginkan teknologi OpenAI, dan keinginan OpenAI untuk memperluas aksesibilitas bagi pelanggan AWS
- Yang ditekankan adalah sifatnya sebagai pembuatan produk baru bersama, bukan sekadar distribusi model
- Harapannya, jika melihat kembali setahun kemudian, yang lebih menonjol bukan hanya "model OpenAI kini dapat diakses lewat AWS", tetapi pentingnya produk baru ini
- Pada level model, harness, dan capability, ini semakin mendekati cara komputasi baru yang berbeda dari sekadar pemanggilan model API lama
AgentCore, Managed Agents, model operasional
- AgentCore diperkenalkan sebagai kumpulan primitif agen seperti memori, lingkungan eksekusi aman, dan pemberian otorisasi
- Bedrock Managed Agents ditempatkan sebagai produk tingkat lebih tinggi yang dibangun bersama AWS dan OpenAI dengan menggabungkan model OpenAI dan berbagai elemen operasional di atas komponen AgentCore
- Dengan AgentCore saja pun, pengguna bisa langsung membuat agentic workflow
- Sudah ada pelanggan yang menjalankannya di production dan memanfaatkannya secara nyata
- Saat ini pun, dengan memakai AgentCore, pengguna bisa memanggil model OpenAI secara eksternal
- Memang bukan dalam bentuk terpasang native di Bedrock, tetapi ada pelanggan yang langsung memanggil model OpenAI yang berada di cloud lain
- AWS menangani ini sebagai ekosistem terbuka
- Cara membangun sendiri dengan menggabungkan kapabilitas yang diinginkan masih bisa terus berlangsung ke depan
- Seperti orang yang merakit komputer sendiri di rumah, diperkirakan akan tetap ada builder yang ingin terus membuat agen mereka sendiri dalam jangka panjang
- Banyak pelanggan menginginkan cara yang lebih mudah tanpa harus mengatur semua bagian sendiri, dan peluncuran kolaborasi ini membidik kebutuhan tersebut
- Penggunaan OpenAI di Azure diringkas sebagai pengalaman akses API langsung, sedangkan pengumuman kali ini di Amazon dibedakan sebagai managed service
- Layanan managed agent ini saat ini berjalan eksklusif dengan Amazon
- Ini bukan sekadar memakai API Amazon, melainkan diperlakukan sebagai upaya bersama dari dua perusahaan
- Data pelanggan tetap berada di dalam AWS
- Keseluruhannya tetap di dalam VPC dan dilindungi di dalam lingkungan Bedrock
- Model OpenAI dijalankan melalui Bedrock, dan infrastrukturnya memakai campuran Trainium dan GPU
- Sebagiannya karena persoalan timing, sebagian karena persoalan capabilities
- Seiring waktu, arah yang ditunjukkan adalah porsi yang lebih besar akan berpindah ke Trainium
- OpenAI juga menunjukkan antusiasme besar terhadap model mereka yang berjalan di Trainium
- Saat model OpenAI dioperasikan di lingkungan AWS, jalur dukungan tingkat pertama ditangani oleh AWS
- Pelanggan akan mendapat bantuan melalui AWS support dan account manager AWS
- Dalam proses pembangunan, personel OpenAI juga ikut terlibat untuk menyelaraskan cara pemanfaatannya
- Bug yang memerlukan bantuan OpenAI akan dieskalasikan AWS ke OpenAI
Lokal, cloud, otorisasi, dan batas keamanan
- Codex disebut semula dimulai di cloud, tetapi dalam praktiknya bergerak kembali ke eksekusi lokal
- Alasan lokal lebih mudah adalah karena lingkungannya sudah ada di sana
- Pengaturan komputer, data, dan akses file sudah tersedia sehingga konfigurasi tambahannya sedikit
- Walau bukan kondisi akhir, dalam jangka pendek kemudahan penggunaan lebih dominan
- Dalam jangka panjang, arah yang dibahas adalah agen akan berjalan di cloud, dan untuk pekerjaan sangat berat atau situasi ketika komputer harus ditutup, memindahkannya ke cloud menjadi bentuk yang berguna
- Klien lokal tetap punya keunggulan
- Seperti aplikasi iPhone yang juga memiliki komponen lokal, ada kelebihan pada connectivity, latency, local compute, serta akses ke file dan aplikasi
- Namun laptop itu sendiri tidak bisa di-scale-out, sehingga ada batas skalabilitas yang jelas
- Dalam lingkungan perusahaan, pendekatan lokal menjadi lebih sulit
- Bahkan hanya ketika harus dibagikan di antara dua orang, tingkat kesulitannya meningkat
- Menangani permissions dan security boundary menjadi lebih rumit
- Pada akhirnya, diperlukan bridge yang menghubungkan lokal dan cloud
- Agen secara alami lebih cocok dikembangkan di lingkungan yang sama dengan tempat ia akan dideploy, dan desain identity dan permission masih menjadi area yang banyak belum matang
- Apakah agen harus memakai akun manusia secara apa adanya
- Apakah agen harus memiliki akun terpisah
- Bagaimana membedakan banyak agen jika ada beberapa sekaligus
- Bahkan primitif seperti "agen milik Ben login sebagai Ben tetapi meninggalkan penanda bahwa itu agen, bukan Ben yang asli" pun belum ada
- Semakin agen masuk ke dalam tenaga kerja dan otonominya serta kompleksitas pekerjaannya meningkat, model kontrol akses dan otorisasi di dalam perusahaan maupun di internet secara umum juga harus ikut berevolusi
- Semakin berpindah ke cloud, organisasi pusat bisa memiliki kontrol keamanan yang lebih kuat
- Pelanggan menyukai potensi model dan agen yang kuat, tetapi yang paling mereka khawatirkan adalah kejadian ketika kesalahan membuat perusahaan hancur
- Batas bisa dikendalikan dengan cara seperti membuatnya berjalan di dalam VPC, mewajibkan lewat gateway tertentu, atau memberi otorisasi seperti role di dalam lingkungan
- Ini terhubung dengan fakta bahwa struktur keamanan yang dibangun AWS selama 20 tahun memungkinkan penggunaannya tidak hanya oleh startup, tetapi juga oleh bank global, institusi kesehatan, dan lembaga pemerintah
- Semakin organisasi bersifat risk-averse, guardrail di dalam sandbox justru bisa semakin memperluas adopsi
Stack AI dan arsitektur enterprise
- Pelanggan enterprise menginginkan lapisan manajemen yang menghubungkan data dan agen, serta menyediakan pelacakan pengeluaran token dan pengawasan
- Pelanggan enterprise besar secara konsisten meminta bentuk yang menggabungkan agent runtime environment, lapisan manajemen, dan workspace untuk karyawan
- Bentuk seperti Codex diajukan sebagai contoh untuk workspace karyawan
- Permintaan akan paket seperti ini cukup konsisten, tetapi apa yang benar-benar disediakan masih perlu terus dibangun
- Disepakati bahwa di dalam organisasi dibutuhkan middleware / middle layer yang melintasi banyak database, aplikasi SaaS, dan data yang tersebar
- Dalam struktur saat ini, tampaknya dibutuhkan baik user agent layer yang menangani interaksi pengguna maupun lapisan manajemen perusahaan
- Di sisi pengguna, bentuk yang dipakai adalah berinteraksi dengan banyak agen dan membangun agar masing-masing agen bisa saling berbicara
- Di lapisan manajemen perusahaan, berbagai control menjadi penting ketika AI menelusuri hal-hal seperti file system
- Namun jika model menjadi cukup cerdas, ada kemungkinan seluruh struktur ini akan dirancang ulang
- Struktur dua lapis saat ini adalah bentuk yang disesuaikan dengan dunia saat ini
- Belum diketahui persis seperti apa arsitektur masa depan nantinya
- Pada titik tertentu, mungkin akan muncul penilaian bahwa "ini seharusnya ada langsung di dalam model"
- Dari proses pelanggan menggunakan dan membangun sistem, akan dipelajari apa yang harus dibuat lebih mudah, lebih cepat, dan lebih baik
Permintaan, kapasitas, dan pelapisan model
- OpenAI menyatakan telah menginvestasikan pembelian compute dalam jumlah besar dan upaya yang signifikan ke bisnis ini, serta mengharapkan pendapatan yang sepadan
- Permintaan terhadap inteligensi diperlakukan sebagai permintaan yang nyaris tanpa batas atas jika harganya cukup rendah
- Saat ini, kendala yang terlihat lebih besar adalah kekurangan kapasitas daripada harga
- Ada lebih banyak pelanggan yang, terlepas dari harga, menginginkan capacity lebih besar dan bersedia membayar tambahan, dibanding pelanggan yang memperdebatkan harga
- Dinyatakan dengan keyakinan bahwa biaya inteligensi pada level saat ini akan turun drastis ke depan
- Bahwa porsi besar permintaan pasar justru terkonsentrasi pada absolute frontier diperlakukan sebagai sinyal yang lebih mengejutkan dari perkiraan
- Arus yang muncul lebih kuat daripada asumsi sebelumnya bahwa model generasi lama akan sudah cukup; pelanggan justru terus menginginkan model frontier terbaru
- Seperti biaya compute yang turun besar selama puluhan tahun tetapi volume penjualannya terus naik, AI juga dinilai mungkin mengikuti jalur ekspansi permintaan yang mirip
- Saat ini, untuk melakukan pekerjaan yang berguna, dalam banyak kasus masih dibutuhkan model frontier, sehingga semua orang mengarah ke sana
- Seiring waktu, diperkirakan akan terbentuk struktur campuran di mana model kecil yang murah dan cepat hidup berdampingan dengan model superbesar
- Beberapa model kecil seiring waktu bahkan bisa menangani pekerjaan yang saat ini belum bisa dilakukan oleh model OpenAI terbaru sekali pun
- Model superbesar bisa diarahkan ke masalah yang lebih besar seperti pengobatan kanker
- Saat ini semuanya masih tahap awal, dan kemunculan permintaan serta pertumbuhan pada level seperti ini makin memperbesar kemungkinan ke depan
Trainium, abstraksi, dan compute internal
- Menjawab pertanyaan apakah Trainium, terlepas dari namanya, ke depan bisa punya kehadiran lebih besar di sisi inference, AWS menjawab bahwa Trainium berguna untuk training maupun inference
- Ditekankan bahwa pelanggan akan lebih banyak mengakses Trainium lewat abstraksi managed service ketimbang menanganinya langsung
- Seperti kebanyakan pelanggan yang tidak berurusan langsung dengan GPU, saat menggunakan OpenAI atau Claude sebenarnya yang mereka hadapi adalah interface, bukan GPU, Trainium, atau TPU secara langsung
- Ke depan, accelerator chip kemungkinan tetap akan beroperasi di balik sejumlah kecil model dan layanan besar
- Jumlahnya mungkin 5, 10, 20, atau 100, tetapi tidak diperkirakan akan berkembang menjadi jutaan orang yang memprogramnya secara langsung
- Pelatihan model membutuhkan banyak uang dan tingkat keahlian operasional yang tinggi
- Tim OpenAI sangat kuat dalam mengekstrak nilai dari klaster compute besar, tetapi tidak banyak tempat yang punya tim seperti itu
- OpenAI mengatakan mereka mula-mula memandang diri mereka seperti token factory, lalu segera mengoreksinya menjadi lebih dekat ke intelligence factory
- Yang diinginkan pelanggan bukan jumlah token, melainkan unit inteligensi terbaik dengan biaya terendah dan kapasitas yang cukup
- GPT-5.5 disebut sebagai contoh bahwa biaya per token lebih tinggi dibanding 5.4, tetapi jumlah token yang dibutuhkan untuk mendapatkan jawaban yang sama jauh lebih sedikit
- Pengguna lebih peduli apakah pekerjaan yang diinginkan selesai, bukan berapa token yang dipakai jawaban itu
- Entah model yang lebih besar berjalan dengan token lebih sedikit, model yang lebih kecil dengan token lebih banyak, atau memakai GPU maupun Trainium, pelanggan menginginkan utilitas besar dengan biaya lebih rendah ketimbang peduli pada implementasi internal
- Saat membangun agen baru di dalam Codex atau Stateful Runtime Environment untuk Amazon Bedrock, pengguna juga semestinya tidak perlu sadar akan pilihan compute internal
- Penurunan penggunaan token terutama dilihat sebagai hasil peningkatan model, dan pengaruh harness hanya sebagian
- Menjawab apakah AWS akan memperluas managed service serupa ke model lain, jawabannya saat ini hanya bahwa mereka sedang fokus pada kolaborasi dengan OpenAI
Perkembangan pasar dan strategi platform
- ChatGPT dinilai sebagai produk konsumen baru berskala besar pertama sejak Facebook
- OpenAI menyatakan mereka meraih hasil yang cukup baik bukan hanya di ChatGPT, tetapi juga di API dan terutama Codex
- Muncul juga refleksi bahwa dulu fokusnya lebih besar pada kemungkinan antarmuka bahasa baru mengubah cara orang mencari informasi di internet
- Google tetap dinilai sebagai phenomenal company dalam hal breadth dan depth
- AWS sejak awal memilih strategi yang berpusat pada partner, dan diringkas sebagai struktur di mana jika partner sukses maka AWS juga sukses
- Ini berbeda dari pendekatan yang mengharuskan semua hal dimiliki sendiri, dan lebih dekat pada upaya memperbesar pie
- Pelanggan harus bisa memilih apa yang paling cocok bagi mereka, baik itu produk sendiri maupun produk partner
- Bedrock juga dirancang di atas strategi ini agar mendukung spektrum model yang luas dan beragam fungsi
- Diringkas bahwa di area lain seperti database dan platform compute, AWS juga mempertahankan pendekatan yang serupa
- Di lapisan infrastruktur, AWS memang mendorong kuat komponen inti miliknya sendiri seperti S3, tetapi semakin naik ke bagian atas stack, menerima ekosistem partner yang lebih luas dinilai lebih baik juga bagi pelanggan
- Peran kedua perusahaan diringkas sebagai OpenAI pada Software, AWS pada Infrastructure, dan keduanya bersama-sama membangun Platform
- Mengingat kemampuan model diperkirakan akan berkembang tajam dalam 1 tahun ke depan, momen untuk membangun platform bersama sekarang dipandang sebagai timing yang baik
1 komentar
Komentar Hacker News
Karena bisa diakses melalui Amazon sebagai pihak perantara yang "tepercaya". OpenAI dilarang dan tidak dipercaya
Saya belum tentu setuju dengan penilaian tim legal organisasi-organisasi ini, tetapi sepertinya mereka membaca syarat layanan jauh lebih teliti daripada saya
Kita lihat saja apakah pengumuman ini akan mengubah keadaan, tetapi saat ini menurut saya OpenAI terlihat cukup tertinggal di banyak sisi
Meski begitu, di industri AI, selisih 2~8 minggu juga bukan jarak yang sangat besar, jadi ini bisa jadi lebih masalah persepsi daripada dampak nyata
Setidaknya di gelembung informasi saya, reputasi OpenAI hancur karena Sam Altman, dan karena terlihat tidak etis serta cukup tidak stabil jika melihat tuntutan terkait fabs, jadi saya tidak terlalu menyukainya
Hanya memakai AWS saja tidak cukup, dan meskipun AWS yang menjalankan modelnya, kalau ingin ZDR yang benar-benar memadai, tetap harus bernegosiasi terpisah dengan pihak tersebut [0]
[0]: https://platform.claude.com/docs/en/build-with-claude/claude...
Keduanya jelas sama-sama diuntungkan, dan budaya feedback loop dari pelanggan AWS kemungkinan membantu Anthropic lebih cepat siap menangani kebutuhan enterprise
Soalnya yang di Azure sudah ada sejak beberapa waktu lalu
Sementara Anthropic fokus pada satu hal, dan mungkin itu sebabnya selalu ada di jajaran teratas benchmark SWE
AWS menyatakan bahwa input dan output tidak dibagikan ke penyedia model, dan juga tidak digunakan untuk pelatihan model dasar [1]
Selain itu, dalam kasus NYT v. OpenAI, OpenAI menerima perintah preservasi pada Mei 2025, dan pengadilan pada praktiknya memaksa penyimpanan log output ChatGPT tanpa batas waktu
Ini termasuk percakapan yang sudah dihapus pengguna yang tadinya akan dihapus dalam 30 hari [2]
Jadi bagi organisasi yang terikat HIPAA/GDPR, syarat seperti ini bahkan membuat mereka tidak bisa ikut sejak garis start
[1] https://aws.amazon.com/bedrock/faqs/
[2] https://openai.com/index/response-to-nyt-data-demands/
Menurut saya, politik kantor atau review birokratis biasanya lebih sering mengikat orang-orang di level bawah agar sibuk dengan sisa-sisa fitur dan pekerjaan operasional
Jika modelnya cukup mirip dengan varian OSS dari GPT, mungkin ternyata tidak serumit yang dibayangkan
Karena kuantisasi, silikon serving kustom, batching, dan optimasi inferensi lainnya, perilaku versi hosting bisa berbeda dari versi penyedia aslinya
Makalah ini tidak persis membahas situasi yang sama, karena membahas Llama open weight yang bisa diaudit, tetapi cukup baik menunjukkan gejala serupa
https://arxiv.org/pdf/2410.20247
Sepertinya margin nyata juga bisa lumayan besar di sana
Saya juga penasaran apakah ini berkaitan langsung dengan arah perpisahan dari Microsoft
Dari kasus-kasus di sekitar saya saja, untuk deployment enterprise yang serius, OpenAI hampir diabaikan karena penawaran di Azure kurang bagus dan di luar itu juga tidak ada jalur yang ramah perusahaan
Kelihatannya OpenAI sadar bahwa terus membiarkan pasar enterprise jatuh ke kombinasi Anthropic dan AWS akan jadi fatal, jadi mereka bergerak untuk mengejar
https://news.ycombinator.com/item?id=47921248
Industri teregulasi seperti keuangan dan layanan kesehatan sering kali sudah lebih dulu menandatangani kontrak dengan AWS yang mencakup komitmen residensi data
OpenAI di atas Bedrock memungkinkan organisasi-organisasi seperti ini tidak perlu bernegosiasi DPA secara terpisah dengan OpenAI, jadi ini bisa menjadi terobosan yang jauh lebih besar daripada yang terlihat di atas kertas
Subprosesor berkurang satu, dan karena datanya sudah ada di AWS, kekhawatiran soal mengirimkannya ke tempat lain juga berkurang
Kecuali AWS akhirnya menyerah dan mencoba membuat Bedrock benar-benar layak dipakai dengan menambahkan kompatibilitas OpenAI API
Mendukung Responses dan Chat Completions, jadi bisa lihat di sini https://docs.aws.amazon.com/bedrock/latest/userguide/endpoin...
Bahkan untuk postingan HN kali ini saja, ada 4 tautan pengumuman yang muncul bersamaan, dan itu bukan kebetulan
Karena satu pernyataan yang salah di waktu yang salah bisa mengguncang investasi miliaran dolar, pesannya mau tak mau harus dipoles sangat hati-hati dan dirilis bertahap