Sesi yang Tidak Bisa Dibawa: Ketergantungan Baru yang Diciptakan API Inferensi

• Seiring API inferensi menyembunyikan inferensi terenkripsi, hasil pencarian, status terkompresi, dan pesan subagen di dalam penyedia, riwayat percakapan yang dimiliki pengguna menjadi bukan sesi yang utuh, melainkan salinan yang hanya memperlihatkan sebagian
• Portabilitas sesi bukan berarti mereproduksi output yang sama di model lain, melainkan memperoleh rekaman yang lengkap secara makna dan dapat diperiksa, diekspor, diputar ulang, diaudit, dan dihapus tanpa perlu pencarian ID atau dekripsi oleh penyedia lama
• Respons tersimpan dan inferensi tertutup, pencarian ter-hosting, serta kompresi yang buram dari OpenAI, Anthropic, dan Google meningkatkan kontinuitas dalam ekosistem yang sama, tetapi mengakumulasi status tersegel penyedia yang tidak bisa diambil alih penyedia lain
• Dalam multiagen, isi delegasi dan pesan antaragen pun terenkripsi, lalu digabung dengan kompresi otomatis dan instruksi tersembunyi, sehingga ketika terjadi pengubahan file yang keliru atau kebocoran rahasia, tetap sulit mengaudit tugas apa yang diinstruksikan
• API yang portabel harus menjadikan log peristiwa lokal sebagai rekaman acuan, membuat penyimpanan sebagai pilihan eksplisit, serta mengizinkan rekaman lengkap yang dapat dibaca untuk pencarian, kompresi, komunikasi agen, dan artefak, beserta distillation di bawah kendali pengguna

---

Kepemilikan sesi yang diubah oleh API inferensi

• Janji awal API inferensi adalah: jika kita mengirim input, menerima output, lalu menyimpan keduanya, kita dapat memeriksa, mengarsipkan, memutar ulang percakapan, atau menyerahkannya ke model lain
• Abstraksi ini sejak awal tidak pernah sempurna
  • Cache prompt berada di GPU penyedia
  • Tokenisasi berbeda di tiap model, dan sampling pun sengaja tidak dibuat dapat direproduksi
• Meski begitu, rekaman semantik yang berisi instruksi, pesan, pemanggilan tool, dan hasilnya dapat dimiliki pengguna, dan model lain yang cukup mampu dapat memahami pekerjaan sebelumnya lalu melanjutkannya
• API terbaru mengembalikan status yang terikat pada penyedia bersama teks
  • Token inferensi yang ditagihkan biayanya tetapi hanya kembali sebagai ciphertext buram atau ringkasan terbatas
  • Pencarian web yang tidak membuat klien menerima teks asli yang dilihat model
  • Konteks terkompresi yang hanya bisa didekripsi oleh penyedia asal
  • Instruksi dan pesan subagen yang tidak bisa dilihat aplikasi
  • Referensi file, vector store, container, dan cache yang tidak dapat ditafsirkan di lingkungan lain
  • Respons dan status percakapan yang hanya dapat diakses melalui ID yang disimpan di server penyedia
• Masing-masing punya alasan demi kenyamanan pengguna atau kualitas, tetapi jika digabungkan, rekaman lokal menjadi bukan keseluruhan sesi, melainkan tampilan parsial dari sesi yang status operasionalnya dimiliki penyedia

Lima kriteria untuk menilai portabilitas sesi

• Portabel bukan berarti token berikutnya harus sama saat model diganti
  • Tiap model berbeda dalam kemampuan, kecenderungan yang dipelajari, jendela konteks, dan cara memakai tool, sementara output itu sendiri juga nondeterministik
• Rekaman yang diekspor harus memuat informasi yang cukup dapat dipahami agar model baru dapat melanjutkan pekerjaan, tanpa perlu penyedia lama mencari ID atau membuka ciphertext untuk memulihkan hasil pencarian atau ringkasan
• Inspection: Pengguna harus dapat melihat informasi yang dilihat model, pekerjaan yang dilakukan tool, dan isi yang dipertukarkan antaragen
• Export: Selain artefak umum yang dapat diunduh terpisah, sesi itu sendiri harus lengkap
• Replay: Implementasi lain harus dapat merekonstruksi konteks yang setara secara makna
• Audit: Manusia harus dapat menjelaskan setelah kejadian mengapa sistem melakukan tindakan tertentu
• Deletion: Semua salinan sisi server yang menjadi dependensi sesi harus dapat diidentifikasi dan dihapus
• ID respons yang menjadi kunci data server bukanlah riwayat percakapan, dan ciphertext yang tidak bisa dibuka pengguna juga bukan status di bawah kendali pengguna
• Daftar URL kutipan saja tidak dapat menggantikan bahan bukti yang benar-benar masuk ke konteks model selama proses pencarian

Enkripsi yang tidak bisa dibuka pengguna

• Nama encrypted_content terlihat seperti fitur perlindungan privasi yang dikendalikan pengguna, tetapi umumnya ini adalah kapsul yang tidak bisa dibaca klien dan hanya dapat dibuka penyedia
• Karena penyedia memilih kunci, mendekripsinya untuk modelnya sendiri, dan menentukan di lingkungan mana ia dapat diputar ulang, nama yang lebih akurat adalah status tersegel penyedia (provider-sealed state)
• Penyegelan oleh penyedia dapat memberi manfaat privasi nyata
  • OpenAI mengembalikan inferensi terenkripsi ke klien pada store: false, lalu pada permintaan berikutnya dapat mendekripsi status antara di memori tanpa menyimpannya
  • Ini lebih baik terutama bagi pelanggan Zero Data Retention dibanding cara yang mengharuskan penyimpanan percakapan di sisi server
• Namun enkripsi ini tidak menyembunyikan data dari penyedia inferensi; ia hanya menyembunyikannya dari pengguna

Cara percakapan tersimpan mengubah rekaman menjadi pointer

• OpenAI Responses API secara default menyimpan respons, dan menurut dokumentasi mempertahankan objek respons setidaknya selama 30 hari
• Jika memakai store: false, data tidak disimpan di server OpenAI, sehingga lebih mirip dengan pola completions lama
• Gemini Interactions API juga menjadikan store: true sebagai default
  • Tingkat berbayar menyimpan interaksi selama 55 hari
  • Tingkat gratis menyimpannya selama 1 hari
• Penyimpanan server mengurangi jumlah data yang harus dikirim aplikasi, mempertahankan inferensi tersembunyi dan status tool, serta memudahkan routing cache
• Namun jika aplikasi lokal hanya mencatat pesan pengguna dan teks akhir, ID respons yang dipakai pada previousResponseId menjadi foreign key ke basis data eksternal yang tidak dapat dikendalikan

Rekaman inferensi yang tidak dibuka

• Laboratorium AI besar menilai ada alasan untuk tidak membuka chain of thought mentah, dan umumnya tidak mengekspos token inferensi model berbobot tertutup melalui API
• Di OpenAI, inferensi sebelumnya dari respons tersimpan dapat dipulihkan dengan previous_response_id
  • Pada store: false, klien harus menyimpan encrypted_content dan mengirimkannya kembali pada permintaan berikutnya
  • Meski reasoning.context: "all_turns" dapat digunakan untuk generasi berikutnya, inferensi yang disimpan tetap buram
• Anthropic mengembalikan seluruh thinking terenkripsi dalam field signature
  • Teks thinking yang dapat dibaca dan bisa diaktifkan bukanlah chain of thought mentah, melainkan ringkasan yang dibuat model lain
  • Pada turn penggunaan tool, blok thinking harus dikembalikan tanpa diubah
  • Blok thinking terikat pada model yang membuatnya dan harus dihapus saat mengganti model, sehingga bahkan di dalam Anthropic pun tidak ditujukan untuk portabilitas
• Cara ini memberikan kontinuitas dalam ekosistem yang sama, tetapi tidak membuat riwayat percakapan portabel yang dapat ditafsirkan model penyedia lain

Lubang rekaman yang ditinggalkan pencarian ter-hosting

• Tool pencarian sisi klien dapat mencatat kueri, waktu pencarian, URL dan judul hasil, serta kutipan yang diekstrak
  • Pengguna dapat memeriksa peringkat dan kutipan, mengambil ulang halaman, atau menyimpan salinan untuk menyampaikan bukti yang sama ke model lain
• Dalam pencarian ter-hosting, penyedia menjalankan loop tool tertutup
  • OpenAI, Google, dan Anthropic menyediakan perilaku pencarian, kutipan, dan URL sumber opsional, tetapi tidak menyediakan konteks teks penuh yang digunakan untuk menghasilkan jawaban
  • Isi URL dapat berubah, dan mungkin hanya kutipan yang lebih pendek yang disampaikan ke model, sehingga itu bukan rekaman replay yang stabil
• Meski model berikutnya ingin membandingkan sumber tertentu atau memverifikasi ulang angka yang diperdebatkan, ia tidak menerima peringkat hasil, kutipan yang diekstrak, materi yang difilter, atau bukti persis yang dilihat model sebelumnya
• Mengambil ulang halaman kutipan pun tidak dapat mereproduksi secara tepat data yang dipakai saat itu, sehingga penyedia sebelumnya tetap menjadi bagian dari sesi bahkan setelah permintaan berikutnya berpindah ke tempat lain
• Pencarian ter-hosting membutuhkan ekspor dengan fidelitas penuh yang memuat kueri, metadata hasil, kutipan pencarian, timestamp, dan konten yang dipertahankan; kutipan ringkas tidak boleh menjadi satu-satunya rekaman

Kompresi konteks yang buram

• Sesi agen yang panjang membutuhkan kompresi, dan ringkasan yang dapat dibaca serta dikendalikan klien dapat diperiksa, diedit, dan dipindahkan meski bersifat lossy
• Kompresi sisi server OpenAI mengembalikan item compaction terenkripsi yang tidak dibuat untuk ditafsirkan manusia
  • /responses/compact mengembalikan canonical next context window yang harus diteruskan kembali apa adanya oleh klien
  • OpenAI dapat melanjutkan makna yang telah dikompresi, tetapi penyedia lain hanya menerima ciphertext dan sebagian konteks terbaru
• Kompresi yang buram tidak secara teknis tak terhindarkan
  • Kompresi sisi server Anthropic mengembalikan blok compaction dengan field content yang dapat dibaca
  • Klien dapat memberikan instruksi ringkasan khusus, serta memeriksa hasilnya atau meneruskannya ke model lain
  • Kompresi sisi klien juga memungkinkan di semua penyedia
• Artefak tersegel OpenAI mungkin mempertahankan status spesifik model lebih baik daripada ringkasan biasa sehingga performanya lebih tinggi pada model asal, tetapi itu seharusnya ditawarkan sebagai optimasi opsional sambil tetap menyediakan ringkasan serah-terima yang dapat dibaca

Delegasi dan komunikasi tersembunyi dalam multiagen

• Sistem multiagen tidak memiliki satu rekaman saja, melainkan pohon sesi dan aliran pesan antaragen, sehingga masalah portabilitas menjadi lebih besar
• Beta OpenAI Responses Multi-agent menambahkan item multi_agent_call, multi_agent_call_output, dan agent_message
  • Argumen message pada contoh spawn_agent terenkripsi
  • Pesan antaragen hanya memuat encrypted_content
  • Jika Multi-agent diaktifkan, kompresi otomatis sisi server diterapkan ke semua agen meski tidak diminta klien
  • Ringkasan inferensi tidak didukung, dan instruksi root maupun subagen yang tidak dapat diedit atau dihapus developer juga disuntikkan
• Akibatnya, delegasi dan pesan tersegel, konteks yang masing-masing dikompresi otomatis, inferensi tersembunyi, dan orkestrasi ter-hosting penyedia membentuk satu bundel status yang tidak dapat dipindahkan
• Pada Juni 2026, perubahan Encrypt multi-agent v2 message payloads diterapkan pada klien Codex open source
  • Responses API mengenkripsi argumen tool dari model induk
  • Saat Codex meneruskan ciphertext, API mendekripsinya secara internal untuk model anak
  • InterAgentCommunication.content milik Codex kosong, sehingga instruksi tugas yang tepat tidak tersisa dalam log eksekusi dan riwayat yang dapat dibaca
• Bahkan ketika agen anak mengubah file yang salah, membocorkan rahasia, menduplikasi pekerjaan lain, atau mengikuti asumsi yang keliru, pengguna tidak dapat memeriksa apa yang diinstruksikan kepadanya
• Isu publik Codex meminta agar salinan audit yang dapat dibaca dipertahankan terpisah dari transmisi terenkripsi
  • Ini adalah desain minimal; pesan plaintext antaragen seharusnya menjadi default

Mengapa kebebasan memindahkan sesi diperlukan

• Meski sebagian besar pengguna tidak mengganti model di tengah sesi, kemungkinan untuk berpindah mengubah hubungan antara pengguna dan penyedia
• Situasi yang membutuhkan pemindahan sesi mencakup penghentian model, gangguan layanan, perubahan harga, kebijakan yang memblokir permintaan berikutnya, eksekusi lokal pada tahap rahasia, dan rekonstruksi pascakejadian oleh auditor
• Saat agen membuat sesi makin panjang, sesi coding dan riset menumpuk keputusan dan bukti selama berhari-hari, sementara asisten pribadi dapat mengakumulasi rekaman selama bertahun-tahun
• Jika pengguna dapat melanjutkan di tempat lain, penyedia harus bersaing pada kualitas model, harga, keandalan, dan kepercayaan
• Jika hanya satu penyedia yang dapat menafsirkan konteks yang terakumulasi, muncul struktur insentif yang merugikan yang membuat pengguna sulit pergi

Prinsip API inferensi yang portabel

• Log peristiwa lokal harus menjadi rekaman acuan
  • Penyimpanan server dapat mereplikasi atau mempercepatnya, tetapi klien harus dapat merekonstruksi sesi tanpa pencarian ID server
• Penyimpanan harus menjadi pilihan eksplisit
  • store: false harus mudah digunakan dan terdokumentasi, serta sebisa mungkin menjadi default
  • Fitur yang membutuhkan retensi harus memberitahukannya saat digunakan

• Item buram tidak boleh memonopoli makna

  • Inferensi terenkripsi, kompresi, dan tanda tangan tool dapat disertakan untuk meningkatkan kualitas pada penyedia yang sama, tetapi representasi serah-terima yang dapat dibaca dan netral penyedia juga harus disediakan
  • Tool ter-hosting harus meninggalkan log dengan fidelitas penuh
    • Input dan output persis, bukti, pemfilteran, sumber, timestamp, dan hash konten harus dicatat
  • Komunikasi subagen harus dapat diaudit
    • Tugas, pesan, hasil, garis asal, model, dan izin tool tiap agen harus dipertahankan dalam bentuk yang dapat dibaca
  • Kompresi harus dapat diperiksa
    • Ringkasan yang dapat dibaca, instruksi yang dipakai untuk membuat ringkasan, dan garis asal yang memungkinkan pemahaman atas apa yang dibuang harus dikembalikan

• Artefak harus dapat diekspor

  • File, output container, snapshot pencarian, dan media yang dihasilkan harus dapat diunduh sebagai arsip lokal berbasis alamat konten

Distillation dan dependensi pada hierarki model

• Sebagian laboratorium besar berbobot tertutup di AS makin memperkuat sikap bermusuhan terhadap distillation eksternal
• Dalam postingan Februari 2026, Anthropic menyebut aktivitas DeepSeek, Moonshot, dan MiniMax sebagai distillation attacks
  • Ketentuan komersial menetapkan bahwa pelanggan memiliki output, tetapi melarang penggunaan output layanan untuk melatih model AI pesaing
  • Pada saat yang sama, dalam postingannya sendiri, mereka mengakui distillation sebagai metode pelatihan sah yang lazim digunakan ketika diterapkan laboratorium terdepan pada model mereka sendiri
• Anthropic mengumpulkan data web publik dengan robot untuk pengembangan model dan memotong buku untuk dipindai, sementara OpenAI juga menyatakan melatih model dengan konten internet publik yang dapat diakses bebas dan mengklaimnya sebagai fair use
• Kedua perusahaan memperlakukan distillation sebagai metode umum saat membuat model yang lebih kecil secara internal
  • OpenAI juga pernah menyediakan workflow distillation API miliknya untuk fine-tuning model OpenAI kecil dengan output dari model OpenAI yang kuat
• Ada asimetri moral: mereka menuntut agar mesin boleh belajar dari pekerjaan luas yang diunggah manusia ke internet, tetapi berupaya mencegah mesin lain belajar dari output yang dibuat laboratorium
• Distillation dapat memindahkan kemampuan model frontier yang mahal ke model yang lebih kecil, murah, dan cepat
  • Dapat dijalankan di lingkungan lokal, offline, perangkat keras terbatas, atau di bawah kendali pengguna
  • Meningkatkan kompetisi, mempertahankan kapabilitas saat API hilang, serta mengurangi komputasi dan penggunaan energi untuk pekerjaan umum

Kebebasan minimum yang harus dijamin bagi pengguna

• Pengguna harus dapat menyimpan sesi dan menyerahkannya ke model lain bahkan setelah menutup akun
• Model baru mungkin membuat penilaian berbeda, mengajukan pertanyaan, atau berkinerja lebih rendah, tetapi tidak boleh hanya menerima ciphertext sebagai pengganti riwayat pengguna, bukti, rencana, dan tugas delegasi yang dilihat model sebelumnya
• API berstatus persisten itu sendiri bukan masalah; masalahnya adalah performa yang lebih baik dipasangkan dengan berkurangnya kendali pengguna
• Penyimpanan server harus opsional, tool ter-hosting harus dapat diamati, kompresi harus dapat dibaca, dan komunikasi agen harus dapat diaudit
• Bahkan untuk inferensi tertutup, setidaknya diperlukan rekaman serah-terima yang portabel, dan distillation seharusnya menjadi jalur untuk membuat kapabilitas tersedia lebih luas, bukan tabu yang membenarkan penghalang yang lebih tinggi

[GN⁺]

Opini Hacker News

• Tulisan ini menunjukkan bahwa situasinya sudah lebih serius daripada yang diperkirakan. Karena kebebasan harus benar-benar dimanfaatkan agar hubungan dengan penyedia juga berubah, penting untuk tidak bergantung pada ekosistem tertentu.
  Saya susah payah menerima Codex yang menyembunyikan proses penalaran karena performanya bagus, tetapi ketidakmungkinan audit sudah menjadi masalah besar sehingga membuat saya mempertimbangkan ulang langganan rumahan. Karena itu saya juga sedang membuat aplikasi ponsel untuk OpenCode.

  • Saya membuat https://www.agentkanban.io dengan mempertimbangkan masalah hilangnya percakapan sesi agen yang bernilai. Konteks dapat disimpan pada tugas di board lalu dipanggil kembali di sesi agen baru berikutnya, dan saat ini mendukung Claude serta Github CoPilot di VS Code.
    Riwayat penggunaan alat yang proprietary sengaja dikecualikan karena merusak portabilitas sesi.
  • Saya optimistis bahwa dark pattern hanyalah strategi kemenangan jangka pendek, dan dalam jangka panjang akan tersisih oleh pendekatan yang menghormati pengguna dan berorientasi pada kepentingan publik. Untuk bersiap menghadapi kemungkinan perubahan arus yang cepat, mungkin sekarang saatnya berfokus pada model berbobot terbuka yang juga ekonomis untuk dioperasikan.
  • Sambil menunggu harga turun, saya berusaha mengumpulkan data sesi Claude dan Codex sebanyak mungkin untuk digunakan dalam fine-tuning model terbuka di masa depan. Untuk itu saya juga membuat parser dan alat arsip sesi sendiri.
  • Saya bahkan menyiapkan VRAM 96GB untuk menjalankan model lokal, tetapi belum ada model yang mendekati Codex berbasis GPT. Laguna S2.1 NVFP4 sudah cukup mendekati dalam coding, tetapi model lokal tampaknya masih punya jalan panjang sebelum menjadi alternatif umum yang serius.
  • https://indieweb.org/POSSE adalah solusinya.

• Ini tulisan yang merangkum dengan baik masalah yang hampir tidak dievaluasi oleh sebagian besar pengguna AI. Penyedia penalaran mutakhir membungkus fungsi non-LLM seperti pencarian web dan eksekusi kode seolah-olah hanya alat biasa, tetapi pada kenyataannya itu membentuk hambatan masuk dan keterikatan yang kuat.
  Secara teori, fungsi itu bisa dipisahkan dari API penalaran dan dieksternalisasi sebagai server MCP, tetapi penyedia jarang menawarkannya seperti itu, dan kemampuan vendor pengganti umumnya lebih lemah. Saat membuat platform chat on-premise dan independen dari penyedia https://github.com/EratoLab/erato, fitur yang tampak sederhana seperti pembuatan gambar di dalam chat pun sulit diimplementasikan, dan salah satu penyebabnya adalah MCP belum memiliki spesifikasi transfer file dasar: https://github.com/modelcontextprotocol/modelcontextprotocol...
  Saya berharap, seiring meningkatnya minat pada model berbobot terbuka, akan ada lebih banyak implementasi alternatif yang lebih mudah ditukar.

  • Membuat orang menjalankan agen secara lokal yang prompt-nya sama sekali tidak bisa diperiksa, seperti pesan sub-agen terenkripsi, adalah hal yang secara fundamental tidak bertanggung jawab. Namun, saya tidak menganggap penyediaan alat yang di-host oleh penyedia itu sendiri sebagai masalah; itu mirip barang impulse buy di kasir.
    Pembuatan gambar tidak perlu diimplementasikan dengan MCP; cukup tulis alat sendiri. Penyedia inferensi gambar dan media seperti Fal, serta penyedia pencarian web dan riset mendalam, sudah cukup banyak.

• Mungkin diperlukan standar terbuka atau format file untuk konteks. Saya penasaran apakah model terbuka dapat menyesuaikan diri pada format yang sama demi portabilitas, dan apakah itu bisa dibuat berbasis SQLite agar program lain juga dapat melakukan kueri.

• Dalam praktiknya, percakapan sering berisi banyak noise sehingga biasanya lebih baik dihapus dari konteks. Saya meminta AI mencatat hal yang sudah dipelajari, pekerjaan yang selesai, dan pekerjaan yang tersisa sebagai file Markdown di direktori memo repositori, lalu model lain melanjutkannya pada percakapan berikutnya.
  Jika perlu, memo itu juga bisa saya edit sendiri terlebih dahulu.

  • Karena alasan seperti ini, saya jadi lebih sering menggunakan agentic coding. Saya menetapkan tugas, meminta agar tes dan lint yang ketat lulus, lalu membiarkan proses model yang bertele-tele lewat begitu saja.
    Karena cukup kembali ketika semua pemeriksaan sudah lulus, saya jadi tidak terlalu terganggu oleh percakapan yang tidak perlu di antarmuka chat.
  • Jika sesi dibuang, kita kehilangan fungsi inspeksi, ekspor, eksekusi ulang, dan audit. Tidak ada hambatan masuk yang substansial bagi penyedia model besar, dan OpenAI serta Anthropic memiliki margin laba operasional yang sangat negatif, serta tidak punya dana sebesar raksasa teknologi.
    Jadi para penyedia sedang mencoba menciptakan ketergantungan secara artifisial, dan ini pada dasarnya merupakan objek hukum antimonopoli. Namun di AS saat ini, FTC melemah sehingga hal ini dibiarkan.
  • Pasar akan menghasilkan AI yang lebih baik dan lebih murah jika model dapat diganti dengan mudah tanpa kehilangan. Jika sebagian konteks hilang sehingga proses berpindah menjadi menyakitkan, penyedia dapat menciptakan vendor lock-in, memperburuk pengalaman pengguna, dan menaikkan harga.
    Meski saat ini ada workaround, insentif untuk membuat perpindahan bebas menjadi lebih sulit tetap besar, jadi saya khawatir perusahaan AI mulai meletakkan dasar bagi memburuknya layanan.
  • Sesi panjang sering kehilangan jejak progres, dan makin bertele-tele modelnya, rasio signal-to-noise menjadi sangat rendah. Yang bernilai bukan teks mentah sesi, melainkan hasil seperti perubahan kode, rencana, atau ringkasan.

• Kita perlu membedakan dua fenomena. Pertama adalah bertambahnya state tersembunyi yang tidak dapat diperiksa atau dipindahkan oleh pengguna, dan ini jelas buruk. Kedua adalah implementasi fitur dan API yang terpecah menurut penyedia; ini bukan membuat porting mustahil, melainkan membuatnya sulit.
  Era ketika OpenAI Completions API dipakai seolah-olah standar universal sedang berakhir, dan jika mengecualikan bagian yang tertutup, Responses API baru mungkin justru lebih baik. Produk, library, dan SDK tidak harus terus mengejar abstraksi terpadu yang menggabungkan semua penyedia menjadi satu.
  Seperti database, abstraksi terpadu pun bocor sehingga akhirnya kita menerima implementasi per teknologi; penyedia model juga akan menjadi seperti itu, dan tidak masalah bila hanya sebagian sesi yang portabel.

  • Tulisan ini hanya membahas state tersembunyi dari dua fenomena tersebut.

• Saya sedang mengembangkan https://github.com/pantoniou/fyai, yang masih kasar tetapi menyimpan data sesi sendiri dan mengelolanya dengan model mirip git.

  • Alat ini tidak dapat menyelesaikan masalah yang dibahas tulisan tersebut, dan secara struktural memang tidak mungkin menyelesaikannya.

• Kontrak bahwa sesi dapat disimpan dan diteruskan ke model lain meski akun ditutup itu masuk akal. Idealnya, kita juga harus bisa dengan mudah menemukan model dengan karakteristik embedding yang mirip.
  Saat GPT-4o pertama kali dihentikan, ada orang yang memasukkan percakapan yang diekspor untuk mencari model dengan gaya bicara dan kepribadian serupa demi mendapatkan kembali teman lama mereka, tetapi model OpenAI lain tidak memberikan rasa yang sama. Model berbobot terbuka memiliki keunggulan karena dapat disimpan selamanya, sehingga pemandu, teman, atau konselor tidak bisa dirampas sepihak oleh perusahaan besar.

• Saya penasaran apa yang diperlukan agar diskusi ini berkembang lebih dari sekadar bahan blog HN.

• Model saat ini memiliki jendela konteks yang terbatas, sehingga pada titik tertentu akan melupakan isi, jadi nilai sesi tidak terlalu tinggi. Jika di masa depan model itu sendiri benar-benar belajar dan berubah melalui interaksi, perubahan itu tidak akan bisa dipindahkan ke model lain; jadi menurut saya masalah ini tidak terlalu bermakna.

• Membaca https://gwern.net/complement bersama tulisan ini akan menjadi materi pelengkap yang sangat bagus.

  • Perlu alasan mengapa itu menjadi materi pelengkap.