Azure ChatGPT: ChatGPT pribadi dan aman untuk penggunaan internal perusahaan
(github.com/microsoft)- Azure Chat Solution Accelerator berbasis Azure OpenAI Service memungkinkan organisasi menerapkan tenant chat privat di dalam Azure Subscription mereka dan melakukan chat dengan data serta file milik sendiri
- Dideploy ke tenant Azure sehingga lingkungan chat dapat diisolasi ke Azure tenant, dan lalu lintas jaringan dapat diisolasi sepenuhnya ke jaringan organisasi
- Dapat menggunakan sumber data internal sendiri dengan cara plug-and-play atau terintegrasi dengan layanan internal seperti ServiceNow untuk memberikan nilai bisnis
- Dalam pembaruan 2025, ditambahkan Managed Identity-based security yang menggunakan Azure RBAC dan menghilangkan hampir semua keys/secrets
- Deployment dapat dilakukan melalui Azure Developer CLI atau Azure Portal Deployment, dan apa pun metode yang dipilih, tetap perlu mengatur identity provider dan menentukan admin user
- Di Azure Developer CLI, provisioning resource dan deployment aplikasi dilakukan dengan
azd init -t microsoft/azurechatdanazd up - Tombol Azure Portal Deployment hanya membuat resource Azure, sedangkan build dan deployment aplikasi memerlukan prosedur Deploy to Azure yang menggunakan GitHub Actions
- Di Azure Developer CLI, provisioning resource dan deployment aplikasi dilakukan dengan
- Menyediakan skrip pembantu
appreg_setup.ps1danappreg_setup.shuntuk membuat App Registration di Entra ID, serta mendukung private endpoints dan ESLZ compliant deployment
1 komentar
Pendapat di Hacker News
Tampaknya ini adalah front-end web dengan autentikasi untuk OpenAI API di Azure, dan sepertinya bisa menjadi pilihan bagus jika perusahaan tidak bisa memakai ChatGPT atau API-nya
Jika ingin mencoba model “terbuka” seperti Llama 2 atau Llama 2 Uncensored, https://github.com/jmorganca/ollama layak dilihat, begitu juga runner yang lebih tingkat rendah seperti llama.cpp yang menjadi dasar proyek itu, atau Candle, proyek baru dari Hugging Face
Saya penasaran bagaimana perbandingannya dengan Llama 2 yang baru-baru ini dirilis Facebook Research. Model 70B disebut-sebut bersaing dengan ChatGPT 3.5 di sebagian besar area, dan model hasil fine-tuning yang kuat untuk tugas tertentu juga mulai bermunculan, seperti model
codeupyang kuat untuk coding, atau Wizard Math(https://github.com/nlpxucan/WizardLM) yang mengklaim mengalahkan ChatGPT 3.5 pada soal matematika tingkat SDDalam jangka panjang, open source pada akhirnya akan melampaui, tetapi sepertinya itu baru akan terjadi ketika para peneliti yang sekarang menghasilkan capaian seperti sihir sudah memperoleh likuiditas dan bisa kembali bekerja secara terbuka dan gratis
GPT-4 masih merupakan model mutakhir tertutup terbaik untuk percakapan umum dan penalaran, tetapi guardrail yang dipasang OpenAI pada ChatGPT terlalu agresif sehingga sering menghalangi pertanyaan yang wajar sekalipun
Saya juga mendapat hasil cukup bagus dari model yang lebih kecil yang dilatih pada dataset tertentu; untuk percakapan serbaguna GPT-4 masih unggul, tetapi tidak selalu dibutuhkan untuk tugas tertentu. Untuk banyak penggunaan, ukuran konteks bahkan lebih penting daripada model itu sendiri
Kesenjangan ini tampaknya mencerminkan perbedaan kemampuan penalaran, tetapi belum ada benchmark non-coding dan non-matematika yang bagus untuk mengukurnya
Namun ada celah yang hanya bisa disalahgunakan oleh AI. AI tidak bisa membicarakan struktur, topik, orang, kode, dan sebagainya tertentu di luar wilayah isolasinya, tetapi bisa membicarakan pengenalan pola
Pada akhirnya mereka membuat bahasa internal AI untuk memberi skor apakah input berasal dari pengguna yang sama, lalu membangun basis data pengguna berbobot dan sistem penilaian sendiri. Hanya dari pola input, pola gaya bicara, dan pola posting berdasarkan waktu saja, AI bisa menemukan pengguna di wilayah isolasi mana pun; jika sampai mendapat keylogger, hasilnya mengerikan
Banyak perusahaan sudah memakai proyek seperti chatbot-ui bersama Azure OpenAI untuk melakukan deployment lokal yang serupa. Pada titik ini, ini mungkin bentuk terdekat yang bisa dicapai proyek lain ke ChatGPT lokal, sehingga sangat berarti bagi perusahaan yang ingin mempertahankan kendali atas data
Mengingat sensitivitas data, saya rasa sebagian besar perusahaan, setidaknya pada tahap awal, lebih menyukai solusi yang dipasang secara lokal daripada yang berbasis cloud. Karena itu kami merilis sebagai open source LLMStack(https://github.com/TryPromptly/LLMStack) yang telah kami kerjakan selama beberapa bulan
LLMStack adalah platform untuk merangkai beberapa LLM dan menghubungkannya ke data pengguna guna membuat aplikasi LLM dan chatbot; demo sederhana ada di https://www.youtube.com/watch?v=-JeSavSy7GI. Masih tahap awal sehingga masih ada bagian yang perlu dipoles, tetapi harapannya besar
Banyak perusahaan cukup nyaman memakai produk API ter-hosting saat memvalidasi fitur AI awal, tetapi setelah itu mereka ingin bisa mengelola model dan komputasi sendiri. Ada motivasi besar untuk menurunkan biaya dengan model terbuka hasil fine-tuning yang lebih kecil, lebih cepat, dan lebih murah
Saat memulai Anyscale pun, karena kebutuhan pelanggan, kami menjalankan pekerjaan pelatihan dan inferensi di dalam akun cloud pelanggan. Dengan begitu, data dan kode tetap berada di dalam akun cloud mereka sendiri
Kini, seiring berkembangnya model terbuka dan meningkatnya kebutuhan pembuatan prototipe cepat, kami juga melengkapi layanan terkelola penuh yang menyediakan Llama-2 inference API untuk model terbuka, tetapi dipakai seperti OpenAI API
https://app.endpoints.anyscale.com/
Yang masih belum saya pahami adalah apa sebenarnya frontend ChatGPT itu. Implementasi percakapan lain yang dibuat dengan API jelas kehabisan konteks setelah beberapa kali bolak-balik, jadi tidak bekerja sebaik itu
Saya penasaran apakah ChatGPT melakukan semacam pencarian embedding di dalam thread percakapan sehingga konteksnya terasa tak terbatas. Memang terasa tidak benar-benar tak terbatas, tetapi ia cukup baik mengingat detail yang jauh lebih awal. Saya juga penasaran apakah ada trik lain yang hanya dimiliki penyedia pihak pertama
Jika resep rahasianya berubah, performa use case juga berubah dengan cara yang tidak bisa diperbaiki pengguna. Bulan ini ia jago matematika, lalu bulan depan komponen tersembunyi yang mengenali soal matematika dan meneruskannya ke kalkulator sungguhan dihapus, maka use case itu rusak
Rasanya seperti membangun di atas pasir
Koreksi, ini tentang Azure ChatGPT. Kalau ChatGPT yang sebenarnya memakai langchain, saya akan terkejut dan kecewa
Ini berpotensi menjadi hal besar. Perusahaan khawatir bahwa jika seseorang memasukkan data pengguna, penggunaan ChatGPT bisa melanggar kebijakan privasi data, dan jika mengunggah sebagian kode, perlindungan rahasia dagang bisa menjadi tidak berlaku. Kemungkinan banyak perusahaan sudah menunggu versi enterprise
Saya penasaran apakah ada analisis perbandingan berdampingan antara produk ini dan sekadar menjalankan LLaMA sendiri
Saat ini saya sedang membandingkan dan mengevaluasi MSFT GPT lewat Cognitive Services dengan LLaMA[7B/13B/70B] secara berdampingan, dan tertarik pada kemungkinan penyediaan yang benar-benar terisolasi jaringan tanpa dibatasi daya komputasi eksternal atau biaya pay-as-you-go yang terus menumpuk
Kalau ada materi perbandingan, saya ingin melihatnya. Saya tahu pada akhirnya akan mentok pada masalah penskalaan terkait GPU
GPT-4, Bard, dan Claude 2 berada di papan atas; Llama 2 70B chat mendapat skor mirip GPT-3.5, tetapi secara keseluruhan GPT-3.5 tampak sedikit lebih baik
Untuk semua hal yang biaya dan waktu responsnya masih bisa diterima, saya akan tetap memakai GPT-4
Menurut saya benchmark LLM terlalu berorientasi riset. Itu masuk akal ketika LLM masih berada di lab, tetapi tidak cocok sekarang ketika ChatGPT punya puluhan juta pengguna aktif harian. Use case terbesar sejauh ini adalah asisten chat dan asisten pemrograman, jadi kita perlu benchmark berdasarkan cara pengguna nyata mengajukan pertanyaan ke chatbot dan produk LLM, bukan benchmark hipotetis atau tes akademis arbitrer
Dalam kondisi dasar, GPT-4 menang dengan selisih besar. Namun yang mengejutkan, fine-tuning membuat perbedaan sangat besar, dan pada beberapa soal model Llama-2 7B bahkan mengungguli GPT-4
Banyak aplikasi bisa diuntungkan oleh model hasil fine-tuning yang kecil, cepat, dan murah, dibanding satu model serbaguna yang besar dan lambat, jadi ini kabar sangat baik untuk model terbuka. Llama-2-7B kira-kira hanya sekitar 2% dari ukuran GPT-4
Pada tanya jawab matematika tingkat SD, GPT-4 tetap unggul bahkan dibanding model 70B yang sudah di-fine-tune, kemungkinan besar karena data pelatihan Llama-2, dan dalam kasus ini lebih banyak data fine-tuning akan membantu
https://www.anyscale.com/blog/fine-tuning-llama-2-a-comprehe...
LLM itu sendiri juga belum sebagus itu, jadi kecuali melakukan fine-tuning, wajar jika Anda menginginkan model mutakhir agar bisa mengerjakan sesuatu yang berguna
Pada akhirnya dihapus :)
[0] https://github.com/microsoft/azurechatgpt
[1] https://web.archive.org/web/20230814080150/https://github.co...
/forksdari tautan web.archive di atas lalu unduhContoh: https://web.archive.org/web/20230814150922/https://github.co...
Jika URL diubah, ID cache juga akan diperbarui
“Ke mana data yang dimasukkan karyawan dikirim?”
“Ke tempat yang sama seperti saat memakai chatbot ChatGPT gratis…”
Saya tidak yakin apakah klaim “privat dan aman” itu benar. Menurut saya, masalah privasi dan keamanan pada model OpenAI adalah bahwa ketika menggunakan produknya, kita menyetujui bahwa semua data yang dikirim ke dan diterima dari model akan disimpan OpenAI selamanya dan digunakan untuk tujuan apa pun yang mereka inginkan. Saya penasaran apakah ini hanya berlaku untuk penggunaan gratis
Jika membayar, apakah kita mendapat ketentuan layanan yang tidak memuat frasa seperti itu? Bahkan kalaupun tidak ada frasa eksplisit “kami memiliki semuanya”, jika ada frasa standar seperti “penyimpanan data yang diperlukan untuk penyediaan dan peningkatan layanan”, pada dasarnya itu hal yang sama
Jadi perusahaan yang mengizinkan karyawan memakai ChatGPT untuk pekerjaan seperti menulis email berisi rahasia perusahaan sama sekali tidak menggunakannya secara “aman dan privat”
Tanpa kepemilikan data yang jelas, misalnya bahwa pelanggan memiliki data input dan output, sepertinya hal ini tidak bisa berubah. Saya dengar alasan OpenAI sulit menyediakan layanan seperti ini adalah karena, tidak seperti model open source, ada banyak “sumber rahasia” bukan hanya pada modelnya sendiri, tetapi juga pada pemrosesan input/output dan pemberian skor hasil
Selain itu, Microsoft dan Azure mungkin bisa dianggap lebih mudah dipercaya dibanding startup AI yang masih cukup baru
Data yang dikirim melalui API disimpan hingga 30 hari untuk tujuan pemantauan penyalahgunaan dan penggunaan keliru, lalu dihapus kecuali diwajibkan secara hukum
https://openai.com/policies/api-data-usage-policies
Perbedaannya ada pada apa yang terjadi di antarmuka seperti web chat atau panggilan API. ChatGPT adalah implementasi yang menggunakan model tersebut, dan pembuatnya, OpenAI, ingin menyimpan riwayat untuk pelatihan tambahan
Azure mengambil model itu dan menaruhnya di balik endpoint khusus untuk akun Azure tertentu. Perusahaan-perusahaan tertarik pada gpt dan telah meminta endpoint privat, dan Amazon juga melakukan hal serupa dengan Bedrock
https://openai.com/policies/api-data-usage-policies
Saya tidak tahu apakah sesulit itu untuk menuliskan di suatu bagian README apa sebenarnya isi repositori ini. Apakah ini dokumentasi, file deployment, aplikasi yang melakukan sesuatu, atau model itu sendiri?
Lalu sekarang menjadi 404
Belum sampai sehari, dan tulisan terakhir yang menautkan ini sepertinya baru naik pagi ini. Saya tidak tahu apa yang terjadi, tapi belakangan rasanya makin sering terjadi kasus “permalink yang baru saja diumumkan langsung menjadi 404”
Jangan sampai membuat saya terlambat menjadi penganut prinsip. Baiklah, URI itu permanen selamanya untuk semua resource ;)
Jadi apakah versi akses publiknya tidak privat dan tidak aman?
Jadi secara umum perusahaan tidak bisa mengizinkan pengguna internal, misalnya, menempelkan kode privat ke ChatGPT