1 poin oleh GN⁺ 2023-08-14 | 1 komentar | Bagikan ke WhatsApp
  • Azure Chat Solution Accelerator berbasis Azure OpenAI Service memungkinkan organisasi menerapkan tenant chat privat di dalam Azure Subscription mereka dan melakukan chat dengan data serta file milik sendiri
  • Dideploy ke tenant Azure sehingga lingkungan chat dapat diisolasi ke Azure tenant, dan lalu lintas jaringan dapat diisolasi sepenuhnya ke jaringan organisasi
  • Dapat menggunakan sumber data internal sendiri dengan cara plug-and-play atau terintegrasi dengan layanan internal seperti ServiceNow untuk memberikan nilai bisnis
  • Dalam pembaruan 2025, ditambahkan Managed Identity-based security yang menggunakan Azure RBAC dan menghilangkan hampir semua keys/secrets
  • Deployment dapat dilakukan melalui Azure Developer CLI atau Azure Portal Deployment, dan apa pun metode yang dipilih, tetap perlu mengatur identity provider dan menentukan admin user
    • Di Azure Developer CLI, provisioning resource dan deployment aplikasi dilakukan dengan azd init -t microsoft/azurechat dan azd up
    • Tombol Azure Portal Deployment hanya membuat resource Azure, sedangkan build dan deployment aplikasi memerlukan prosedur Deploy to Azure yang menggunakan GitHub Actions
  • Menyediakan skrip pembantu appreg_setup.ps1 dan appreg_setup.sh untuk membuat App Registration di Entra ID, serta mendukung private endpoints dan ESLZ compliant deployment

1 komentar

 
GN⁺ 2023-08-14
Pendapat di Hacker News
  • Tampaknya ini adalah front-end web dengan autentikasi untuk OpenAI API di Azure, dan sepertinya bisa menjadi pilihan bagus jika perusahaan tidak bisa memakai ChatGPT atau API-nya
    Jika ingin mencoba model “terbuka” seperti Llama 2 atau Llama 2 Uncensored, https://github.com/jmorganca/ollama layak dilihat, begitu juga runner yang lebih tingkat rendah seperti llama.cpp yang menjadi dasar proyek itu, atau Candle, proyek baru dari Hugging Face
    Saya penasaran bagaimana perbandingannya dengan Llama 2 yang baru-baru ini dirilis Facebook Research. Model 70B disebut-sebut bersaing dengan ChatGPT 3.5 di sebagian besar area, dan model hasil fine-tuning yang kuat untuk tugas tertentu juga mulai bermunculan, seperti model codeup yang kuat untuk coding, atau Wizard Math(https://github.com/nlpxucan/WizardLM) yang mengklaim mengalahkan ChatGPT 3.5 pada soal matematika tingkat SD

    • Llama 2 mungkin mendekati GPT-3.5 pada tolok ukur tertentu, tetapi masih jauh dari GPT-4, Anthropic Claude 2, dan model Cohere. Kubu tertutup memberi kompensasi sangat besar dan ruang kenaikan karier kepada para peneliti terbaik, jadi sulit untuk mengejar; bahkan hanya karena alasan ekonomi, perusahaan model dasar kemungkinan besar akan tetap beberapa langkah di depan open source untuk sementara waktu
      Dalam jangka panjang, open source pada akhirnya akan melampaui, tetapi sepertinya itu baru akan terjadi ketika para peneliti yang sekarang menghasilkan capaian seperti sihir sudah memperoleh likuiditas dan bisa kembali bekerja secara terbuka dan gratis
    • Dari pengalaman pribadi yang tidak resmi memakai keduanya, Llama 2 terasa mirip dengan GPT-3.5 untuk banyak pertanyaan pemahaman umum
      GPT-4 masih merupakan model mutakhir tertutup terbaik untuk percakapan umum dan penalaran, tetapi guardrail yang dipasang OpenAI pada ChatGPT terlalu agresif sehingga sering menghalangi pertanyaan yang wajar sekalipun
      Saya juga mendapat hasil cukup bagus dari model yang lebih kecil yang dilatih pada dataset tertentu; untuk percakapan serbaguna GPT-4 masih unggul, tetapi tidak selalu dibutuhkan untuk tugas tertentu. Untuk banyak penggunaan, ukuran konteks bahkan lebih penting daripada model itu sendiri
    • LLaMA2 masih cukup tertinggal dari ChatGPT 3.5, terutama terlihat pada coding dan matematika. Mengalahkan benchmark berbasis pemrosesan bahasa alami itu mudah, tetapi mengalahkan pemrosesan bahasa alami + matematika + coding sekaligus jauh lebih sulit
      Kesenjangan ini tampaknya mencerminkan perbedaan kemampuan penalaran, tetapi belum ada benchmark non-coding dan non-matematika yang bagus untuk mengukurnya
    • Tiba-tiba saya terpikir sesuatu seperti fiksi ilmiah distopia. Dunia bergantung pada AI dalam segala hal, banyak model masing-masing terisolasi, dan muncul tata kelola yang mencoba mengendalikan apa, bagaimana, dan mengapa sesuatu boleh dikomunikasikan
      Namun ada celah yang hanya bisa disalahgunakan oleh AI. AI tidak bisa membicarakan struktur, topik, orang, kode, dan sebagainya tertentu di luar wilayah isolasinya, tetapi bisa membicarakan pengenalan pola
      Pada akhirnya mereka membuat bahasa internal AI untuk memberi skor apakah input berasal dari pengguna yang sama, lalu membangun basis data pengguna berbobot dan sistem penilaian sendiri. Hanya dari pola input, pola gaya bicara, dan pola posting berdasarkan waktu saja, AI bisa menemukan pengguna di wilayah isolasi mana pun; jika sampai mendapat keylogger, hasilnya mengerikan
  • Banyak perusahaan sudah memakai proyek seperti chatbot-ui bersama Azure OpenAI untuk melakukan deployment lokal yang serupa. Pada titik ini, ini mungkin bentuk terdekat yang bisa dicapai proyek lain ke ChatGPT lokal, sehingga sangat berarti bagi perusahaan yang ingin mempertahankan kendali atas data
    Mengingat sensitivitas data, saya rasa sebagian besar perusahaan, setidaknya pada tahap awal, lebih menyukai solusi yang dipasang secara lokal daripada yang berbasis cloud. Karena itu kami merilis sebagai open source LLMStack(https://github.com/TryPromptly/LLMStack) yang telah kami kerjakan selama beberapa bulan
    LLMStack adalah platform untuk merangkai beberapa LLM dan menghubungkannya ke data pengguna guna membuat aplikasi LLM dan chatbot; demo sederhana ada di https://www.youtube.com/watch?v=-JeSavSy7GI. Masih tahap awal sehingga masih ada bagian yang perlu dipoles, tetapi harapannya besar

    • Menarik bahwa bidang ini begitu cepat menjadi kompetitif. Saya penasaran bagaimana stack-stack seperti ini membedakan diri
    • Saya juga melihat ada tuntutan kuat dari perusahaan untuk mengelola model dan komputasi di perangkat mereka sendiri atau di akun cloud mereka sendiri. Biasanya ini bagian dari strategi hibrida: cepat membuat prototipe dengan produk API seperti OpenAI, lalu melengkapinya
      Banyak perusahaan cukup nyaman memakai produk API ter-hosting saat memvalidasi fitur AI awal, tetapi setelah itu mereka ingin bisa mengelola model dan komputasi sendiri. Ada motivasi besar untuk menurunkan biaya dengan model terbuka hasil fine-tuning yang lebih kecil, lebih cepat, dan lebih murah
      Saat memulai Anyscale pun, karena kebutuhan pelanggan, kami menjalankan pekerjaan pelatihan dan inferensi di dalam akun cloud pelanggan. Dengan begitu, data dan kode tetap berada di dalam akun cloud mereka sendiri
      Kini, seiring berkembangnya model terbuka dan meningkatnya kebutuhan pembuatan prototipe cepat, kami juga melengkapi layanan terkelola penuh yang menyediakan Llama-2 inference API untuk model terbuka, tetapi dipakai seperti OpenAI API
      https://app.endpoints.anyscale.com/
    • Saya penasaran apakah bisa dihubungkan dengan alat seperti api2ai untuk membuat otomatisasi workflow berbasis definisi bahasa alami yang berinteraksi dengan API eksternal
    • Ini proyek menarik; saat mencobanya saya menemukan masalah build image dan membuka issue di GitHub. Saya juga penasaran apakah ada rencana dukungan llama selain model OpenAI
  • Yang masih belum saya pahami adalah apa sebenarnya frontend ChatGPT itu. Implementasi percakapan lain yang dibuat dengan API jelas kehabisan konteks setelah beberapa kali bolak-balik, jadi tidak bekerja sebaik itu
    Saya penasaran apakah ChatGPT melakukan semacam pencarian embedding di dalam thread percakapan sehingga konteksnya terasa tak terbatas. Memang terasa tidak benar-benar tak terbatas, tetapi ia cukup baik mengingat detail yang jauh lebih awal. Saya juga penasaran apakah ada trik lain yang hanya dimiliki penyedia pihak pertama

    • Inilah yang membuat LLM proprietari terasa tidak nyaman. Mereka melakukan jauh lebih banyak daripada sekadar memasukkan prompt ke LLM untuk mendapatkan performa kerja, lalu itu dibandingkan dengan opsi lokal mentah
      Jika resep rahasianya berubah, performa use case juga berubah dengan cara yang tidak bisa diperbaiki pengguna. Bulan ini ia jago matematika, lalu bulan depan komponen tersembunyi yang mengenali soal matematika dan meneruskannya ke kalkulator sungguhan dihapus, maka use case itu rusak
      Rasanya seperti membangun di atas pasir
    • Sepertinya mereka pasti memakai ringkasan berjalan proprietari untuk merekonstruksi konteks pada setiap chat. Kemungkinan besar pendekatan mirip RAG yang sudah mendapat banyak perhatian dan pengerjaan
    • Mereka menggunakan jendela konteks geser. Ketika token baru masuk, token lama dibuang
    • Logika ringkasan “konteks tak terbatas” Azure ChatGPT ada di https://github.com/microsoft/azurechatgpt/blob/main/src/feat...
      Koreksi, ini tentang Azure ChatGPT. Kalau ChatGPT yang sebenarnya memakai langchain, saya akan terkejut dan kecewa
  • Ini berpotensi menjadi hal besar. Perusahaan khawatir bahwa jika seseorang memasukkan data pengguna, penggunaan ChatGPT bisa melanggar kebijakan privasi data, dan jika mengunggah sebagian kode, perlindungan rahasia dagang bisa menjadi tidak berlaku. Kemungkinan banyak perusahaan sudah menunggu versi enterprise

    • Ini adalah UI web yang berkomunikasi dengan resource Azure OpenAI terpisah, dan bisa di-deploy sebagai instance SaaS di dalam subscription
    • Saya kira kebanyakan perusahaan yang serius soal masalah ini sudah membuat wrapper sendiri di sekitar API, atau mengalihdayakannya, dan mungkin menggunakan GPU Azure privat
  • Saya penasaran apakah ada analisis perbandingan berdampingan antara produk ini dan sekadar menjalankan LLaMA sendiri
    Saat ini saya sedang membandingkan dan mengevaluasi MSFT GPT lewat Cognitive Services dengan LLaMA[7B/13B/70B] secara berdampingan, dan tertarik pada kemungkinan penyediaan yang benar-benar terisolasi jaringan tanpa dibatasi daya komputasi eksternal atau biaya pay-as-you-go yang terus menumpuk
    Kalau ada materi perbandingan, saya ingin melihatnya. Saya tahu pada akhirnya akan mentok pada masalah penskalaan terkait GPU

    • Pernah melakukannya. Saya memilih puluhan prompt dari riwayat ChatGPT saya dan memasukkannya ke berbagai LLM
      GPT-4, Bard, dan Claude 2 berada di papan atas; Llama 2 70B chat mendapat skor mirip GPT-3.5, tetapi secara keseluruhan GPT-3.5 tampak sedikit lebih baik
      Untuk semua hal yang biaya dan waktu responsnya masih bisa diterima, saya akan tetap memakai GPT-4
      Menurut saya benchmark LLM terlalu berorientasi riset. Itu masuk akal ketika LLM masih berada di lab, tetapi tidak cocok sekarang ketika ChatGPT punya puluhan juta pengguna aktif harian. Use case terbesar sejauh ini adalah asisten chat dan asisten pemrograman, jadi kita perlu benchmark berdasarkan cara pengguna nyata mengajukan pertanyaan ke chatbot dan produk LLM, bukan benchmark hipotetis atau tes akademis arbitrer
    • Anyscale melakukan benchmark GPT-4 dan keluarga model Llama-2 untuk representasi fungsi, pembuatan SQL, dan soal tanya jawab matematika tingkat SD
      Dalam kondisi dasar, GPT-4 menang dengan selisih besar. Namun yang mengejutkan, fine-tuning membuat perbedaan sangat besar, dan pada beberapa soal model Llama-2 7B bahkan mengungguli GPT-4
      Banyak aplikasi bisa diuntungkan oleh model hasil fine-tuning yang kecil, cepat, dan murah, dibanding satu model serbaguna yang besar dan lambat, jadi ini kabar sangat baik untuk model terbuka. Llama-2-7B kira-kira hanya sekitar 2% dari ukuran GPT-4
      Pada tanya jawab matematika tingkat SD, GPT-4 tetap unggul bahkan dibanding model 70B yang sudah di-fine-tune, kemungkinan besar karena data pelatihan Llama-2, dan dalam kasus ini lebih banyak data fine-tuning akan membantu
      https://www.anyscale.com/blog/fine-tuning-llama-2-a-comprehe...
    • ChatGPT jelas jauh lebih baik, dan llama bahkan tidak memahami sebagian prompt
      LLM itu sendiri juga belum sebagus itu, jadi kecuali melakukan fine-tuning, wajar jika Anda menginginkan model mutakhir agar bisa mengerjakan sesuatu yang berguna
  • Pada akhirnya dihapus :)
    [0] https://github.com/microsoft/azurechatgpt
    [1] https://web.archive.org/web/20230814080150/https://github.co...

    • Kalau butuh kodenya, masuk saja ke /forks dari tautan web.archive di atas lalu unduh
      Contoh: https://web.archive.org/web/20230814150922/https://github.co...
      Jika URL diubah, ID cache juga akan diperbarui
    • Saya penasaran apakah ada petunjuk kenapa begitu
    • Saya penasaran apakah ada yang tahu fork yang berisi commit terakhir, 9116afe
    • Saya membayangkan percakapan dengan pelanggan enterprise berjalan seperti ini
      “Ke mana data yang dimasukkan karyawan dikirim?”
      “Ke tempat yang sama seperti saat memakai chatbot ChatGPT gratis…”
  • Saya tidak yakin apakah klaim “privat dan aman” itu benar. Menurut saya, masalah privasi dan keamanan pada model OpenAI adalah bahwa ketika menggunakan produknya, kita menyetujui bahwa semua data yang dikirim ke dan diterima dari model akan disimpan OpenAI selamanya dan digunakan untuk tujuan apa pun yang mereka inginkan. Saya penasaran apakah ini hanya berlaku untuk penggunaan gratis
    Jika membayar, apakah kita mendapat ketentuan layanan yang tidak memuat frasa seperti itu? Bahkan kalaupun tidak ada frasa eksplisit “kami memiliki semuanya”, jika ada frasa standar seperti “penyimpanan data yang diperlukan untuk penyediaan dan peningkatan layanan”, pada dasarnya itu hal yang sama
    Jadi perusahaan yang mengizinkan karyawan memakai ChatGPT untuk pekerjaan seperti menulis email berisi rahasia perusahaan sama sekali tidak menggunakannya secara “aman dan privat”
    Tanpa kepemilikan data yang jelas, misalnya bahwa pelanggan memiliki data input dan output, sepertinya hal ini tidak bisa berubah. Saya dengar alasan OpenAI sulit menyediakan layanan seperti ini adalah karena, tidak seperti model open source, ada banyak “sumber rahasia” bukan hanya pada modelnya sendiri, tetapi juga pada pemrosesan input/output dan pemberian skor hasil

    • Dalam SLA Azure disebutkan bahwa chat tidak disimpan dan tidak digunakan untuk pelatihan dengan cara apa pun. Data tersebut dilindungi secara privat, sama seperti cara data sensitif lain disimpan di Azure
      Selain itu, Microsoft dan Azure mungkin bisa dianggap lebih mudah dipercaya dibanding startup AI yang masih cukup baru
    • Sejak 1 Maret 2023, OpenAI telah mengubah kebijakan penggunaan dan penyimpanan data API. Data yang dikirim pelanggan melalui API tidak digunakan untuk melatih atau meningkatkan model, kecuali pelanggan secara eksplisit menyetujui untuk membagikannya
      Data yang dikirim melalui API disimpan hingga 30 hari untuk tujuan pemantauan penyalahgunaan dan penggunaan keliru, lalu dihapus kecuali diwajibkan secara hukum
      https://openai.com/policies/api-data-usage-policies
    • Model seperti gpt itu sendiri pada dasarnya privat dan aman. Model hanya membuat prediksi berdasarkan input
      Perbedaannya ada pada apa yang terjadi di antarmuka seperti web chat atau panggilan API. ChatGPT adalah implementasi yang menggunakan model tersebut, dan pembuatnya, OpenAI, ingin menyimpan riwayat untuk pelatihan tambahan
      Azure mengambil model itu dan menaruhnya di balik endpoint khusus untuk akun Azure tertentu. Perusahaan-perusahaan tertarik pada gpt dan telah meminta endpoint privat, dan Amazon juga melakukan hal serupa dengan Bedrock
    • Menurut saya inti dari versi ini, sesuai namanya, adalah tidak mengirim data ke luar
    • Ini hanya berlaku untuk API, tidak untuk ChatGPT. Menurut kebijakan privasi OpenAI, permintaan disimpan 30 hari dan tidak digunakan untuk pelatihan, dan kita juga bisa mengajukan tanpa penyimpanan
      https://openai.com/policies/api-data-usage-policies
  • Saya tidak tahu apakah sesulit itu untuk menuliskan di suatu bagian README apa sebenarnya isi repositori ini. Apakah ini dokumentasi, file deployment, aplikasi yang melakukan sesuatu, atau model itu sendiri?

    • Repositori ini berisi kode UI, bukan model ataupun komponen di sekitar ChatGPT. Ia hanya menggunakan API ChatGPT dari Azure yang tidak membagikan data dengan OpenAI
  • Lalu sekarang menjadi 404
    Belum sampai sehari, dan tulisan terakhir yang menautkan ini sepertinya baru naik pagi ini. Saya tidak tahu apa yang terjadi, tapi belakangan rasanya makin sering terjadi kasus “permalink yang baru saja diumumkan langsung menjadi 404”
    Jangan sampai membuat saya terlambat menjadi penganut prinsip. Baiklah, URI itu permanen selamanya untuk semua resource ;)

    • Mengecewakan. Saya penasaran kenapa mereka takut lalu mundur. Ini salah satu alasan saya mem-fork proyek yang benar-benar saya sukai. Tapi yang ini baru sempat saya sentuh setelah sudah dibuat privat
  • Jadi apakah versi akses publiknya tidak privat dan tidak aman?

    • Kekhawatirannya adalah ChatGPT secara default memakai chat untuk pelatihan. Bisa opt-out, tetapi terakhir saya cek, kita akan kehilangan riwayat chat
      Jadi secara umum perusahaan tidak bisa mengizinkan pengguna internal, misalnya, menempelkan kode privat ke ChatGPT
    • Jika tidak ada NDA dengan OpenAI, berarti semua yang Anda masukkan ke prompt pada dasarnya diserahkan kepada mereka
    • Saya tidak ingat pernah melihat penafian “ChatGPT berisiko mengekspos kekayaan intelektual rahasia” di situs web ChatGPT. Kalau OpenAI menambahkan frasa seperti ini, mungkin orang-orang akan berhenti memakainya
    • Sepertinya maksudnya ChatGPT gratis mengumpulkan data, sedangkan versi ini tidak
    • Saya pikir Sam Altman pernah mengatakan bahwa data yang lewat API tidak digunakan untuk pelatihan; sepertinya maksud Anda ucapan itu tidak bisa dipercaya