Menanamkan Claude ke Apple Foundation Models

 (platform.claude.com)
1 poin oleh GN⁺ 3 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Paket Swift yang menghubungkan framework Foundation Models milik Apple dengan Claude sebagai model sisi server, sehingga developer bisa memanggil Claude melalui jalur kode yang sama persis dengan model on-device Apple
  • Berkat protokol LanguageModel yang diperkenalkan Apple di WWDC 2026, kini dimungkinkan arsitektur hibrida dengan satu API standar: prototipe dibuat dengan model on-device lalu hanya pekerjaan yang kompleks yang dialihkan ke model cloud
  • Intinya adalah kemampuan menukar provider - tanpa menyentuh logika sesi, developer bisa berpindah antara Apple, Claude, dan Gemini hanya dengan mengganti dependensi Swift Package
  • Paket yang dirilis Anthropic di bawah Apache 2.0 ini merupakan contoh pertama yang benar-benar berjalan dari gagasan “bisa terhubung ke backend apa pun”
  • Permintaan dikirim langsung dari aplikasi ke Claude API dan Apple tidak berada di jalur tersebut, sehingga tidak dapat melihat prompt maupun respons, dan biaya juga ditagihkan langsung ke akun Anthropic

Mengapa ini penting

  • Selama ini, untuk menambahkan model bahasa ke aplikasi iOS, developer harus mendaftar API cloud terpisah, mengelola key, membayar per token, dan mengirim semua prompt ke luar perangkat. Di WWDC 2026, Apple akhirnya mengatasi ketidaknyamanan lama ini
  • Framework Foundation Models diperluas sehingga model on-device Apple Intelligence, Private Cloud Compute, dan cloud pihak ketiga seperti Claude dan Gemini semuanya bisa dipanggil lewat satu API Swift native
  • Anthropic merilis paket Swift yang mengimplementasikan protokol baru ini. Tujuannya adalah menerima alur dari model on-device Apple lalu memanggil Claude untuk menangani workflow yang lebih kompleks

Apa yang berubah bagi developer

  • Pergantian provider tanpa perubahan kode

    • Setelah membuat prototipe aplikasi dengan model on-device Apple, developer dapat merutekan kueri kompleks ke Google Gemini atau Anthropic Claude, atau beralih di antaranya, hanya dengan memperbarui dependensi Swift Package Manager tanpa mengubah logika sesi maupun kode aplikasi lainnya
    • Model on-device dipakai untuk tugas cepat dan lokal seperti ringkasan dan ekstraksi, lalu hanya melakukan handoff ke Claude saat dibutuhkan penalaran multilangkah, pembuatan kode, pencarian web, atau eksekusi kode
    • Dalam kedua kasus, API yang digunakan tetap LanguageModelSession, sehingga perpindahan cukup dilakukan dengan mengganti argumen model:

  • Handoff berbasis tipe

    • Setelah menambahkannya ke proyek dan login dengan API key Anthropic, output terketik dari model on-device Apple dapat diteruskan ke permintaan Claude, lalu paket ini menangani streaming, pemanggilan tool, dan respons terstruktur kembali ke view SwiftUI
    • Dengan pembuatan guide, penggunaannya cukup sederhana hingga bisa mengembalikan nilai Swift yang terketik hanya dengan tiga baris kode

Struktur privasi dan biaya

  • Permintaan dikirim langsung dari aplikasi ke Claude API sehingga Apple tidak berada di jalur permintaan dan tidak dapat melihat prompt maupun respons
  • Pemakaian ditagihkan langsung ke akun Anthropic dengan harga API standar
  • Aplikasi menentukan sendiri per sesi apakah akan memakai Claude atau model on-device Apple

Gambaran yang lebih besar

  • Apple berencana mengubah framework Foundation Models menjadi open source musim panas ini, yakni API Swift native untuk model on-device yang dirilis pada 2025. Dengan protokol LanguageModel yang baru, hampir semua model—baik model Apple sendiri maupun provider jarak jauh—dapat menjalankan LanguageModelSession di balik satu API Swift tunggal
  • Sebagai contoh dari gagasan “bisa terhubung ke backend apa pun” itu, ClaudeForFoundationModels dari Anthropic mewujudkan pola adapter secara konkret
  • Apple juga memosisikan sistem Dynamic Profiles, yang memungkinkan aplikasi mengganti model, tool, dan instruksi di tengah sesi, sebagai fondasi untuk workflow multi-agent
  • Namun, integrasi ini masih dalam tahap beta yang memerlukan iOS, iPadOS, macOS, visionOS, watchOS 27, dan Xcode 27, sehingga API masih bisa berubah sebelum rilis resmi

Bacaan terkait

1 komentar

 
GN⁺ 3 jam lalu
Komentar Hacker News

  • Apple sedang mengendalikan pengalaman pengguna sambil menjadikan LLM sebagai komoditas umum
    Sesuai karakter perusahaan hardware, strateginya tampak seperti terus menjual mesin terbaik untuk menggunakan AI, dan itu terlihat sebagai pilihan yang tepat

    • Mungkin Benedict Evans memang akhirnya benar. Model frontier makin terlihat seperti perusahaan telekomunikasi era 90-an
      Mereka menginvestasikan miliaran dolar ke infrastruktur, tetapi nilainya justru diambil perusahaan lain yang berada di lapisan lebih atas
    • Agak terpisah dari pembahasan soal kontrol pengalaman pengguna, tapi ini hasil AI yang paling saya sukai. Selama puluhan tahun perusahaan menutup layanannya dengan tembok dan memaksakan UI yang buruk, lalu dalam 12 bulan terakhir tiba-tiba semuanya punya MCP dan bisa dipakai lewat antarmuka chat command line
      Perusahaan yang tidak beradaptasi pada akhirnya tak punya pilihan selain menyerah setelah dihajar web scraper DIY berbasis AI buatan orang-orang
    • Saya tidak yakin ungkapan mesin terbaik untuk menggunakan AI tepat di sini. Bukankah model-model ini masih berjalan di sisi server
    • Sudah jelas sejak beberapa tahun lalu bahwa AI pada akhirnya akan tertanam di level sistem operasi. Apple juga sudah menyadari itu saat pertama kali memperkenalkan Apple Intelligence
      Ungkapan seperti menjadikan LLM sebagai komoditas mungkin tepat, tetapi ini adalah fitur yang berhadapan langsung dengan pengguna dan sudah mereka poles selama beberapa tahun
    • Sekarang tinggal menjadikan hardware sebagai komoditas juga

  • Jadi ini paket Swift yang memungkinkan memakai Claude sebagai model bahasa sisi server di Apple's Foundation Models framework, padahal saya mengira arahnya akan sebaliknya. Saya berharap fitur-fitur Claude Code yang ada somehow bisa berjalan secara lokal di Neural Engine laptop saya
    Dengan M2 dan RAM 8GB itu memang angan-angan, tapi sempat memberi sedikit harapan

    • Lihat saja sesi WWDC ini. Jelas tidak akan bisa bersaing dengan model frontier dan 8GB juga terasa terlalu kecil, tetapi Apple memang mendemonstrasikan MLX + OpenCode
      https://developer.apple.com/videos/play/wwdc2026/232/
      https://www.youtube.com/watch?v=wykPErJ8M-8
    • Jika OpenCode atau Pi digunakan dengan SSD streaming, secara teknis semua fungsinya bisa ada. Hanya saja pasti akan sangat lambat sampai tak tertahankan
    • Kebanyakan model coding frontier tampaknya memerlukan sekitar 300GB sampai 1TB untuk benar-benar memakai seluruh kemampuannya
    • Claude Code secara harfiah bisa dibuat untuk melakukan query ke endpoint apa pun yang diinginkan, asalkan ada API yang kompatibel, melalui environment variable
    • Kalau cloud itu benar-benar iCloud privat milik pengguna, menurut saya itu bisa diterima. Jika pengguna membayar biayanya dan dijalankan dekat server Apple yang sudah menyimpan iPhotos, itu bisa menjadi solusi yang sangat elegan
      Namun pada kenyataannya yang didapat adalah Claude yang bahkan tidak jelas di-host di mana. Bisa saja di data center X-AI, bisa saja di suatu tempat milik Amazon, tidak ada yang tahu

  • Ini bukan khusus untuk Claude. Developer juga bisa membuat aplikasi yang memanggil model Gemini berbasis server milik Google
    Di WWDC, Apple mengumumkan akan membuka Foundation Models framework untuk penyedia model cloud pihak ketiga. Mulai iOS 27, macOS 27, iPadOS 27, visionOS 27, dan watchOS 27, penyedia model dapat mengimplementasikan LanguageModel protocol publik yang baru untuk menyediakan antarmuka umum bagi inferensi model. Google telah memungkinkan model Gemini digunakan di Foundation Models framework melalui Firebase Apple SDK
    Dengan ini, pengalaman pengembangan native penuh menjadi mungkin. Model Gemini yang di-host di cloud dapat terhubung langsung ke Foundation Models framework lewat API yang sama, dan model Apple di perangkat serta model Gemini yang di-host di cloud ditempatkan di balik permukaan API yang sama, sehingga inferensi lokal dan inferensi cloud bisa dengan mudah ditukar sesuai kebutuhan use case
    https://blog.google/innovation-and-ai/technology/developers-...

    • Yang penting adalah Apple pada dasarnya mengganti nama API yang kompatibel dengan OpenAI menjadi language model protocol, dan sebelum kita dikutuk oleh istilah yang sangat panjang itu, semua orang sebaiknya cepat berkumpul di sisi ini

  • Senang melihat Apple memperkenalkan abstraksi seperti ini, tetapi kekhawatiran utama ada di sisi model lokal
    Misalnya, walaupun ingin memakai Gemma4, dari sudut pandang pengguna kalau 10 aplikasi masing-masing mengunduh model yang sama, ponsel jadi membengkak tanpa perlu
    Saya masih belum paham apakah Apple menyediakan cara agar banyak aplikasi bisa memakai model yang sama di perangkat yang sama. Ini harus bisa dilakukan tanpa namespace yang merepotkan atau trik perizinan
    Saya belum melihat sesuatu yang mengisyaratkan itu

    • Menurut saya, justru itulah yang ingin dihindari Apple. Jika butuh kecerdasan di perangkat, mereka pada dasarnya menyarankan bahwa “model yang sudah ada di perangkat adalah yang terbaik”, dan kalau perlu sesuatu yang lebih spesifik, adapter, yaitu fine-tuning/LoRA, adalah pilihan terbaik
      Ini salah ketika model di perangkat tertinggal jauh, tetapi dalam jangka panjang mungkin tetap benar
      Banyak aplikasi yang saya pakai mungkin membutuhkan Gemma 4 E4B, tetapi saya memakai puluhan aplikasi dan para pengembang bisa memilih dari ratusan model. Shared cache mungkin sedikit mengurangi ukuran saat ada tumpang tindih, tetapi masalah intinya tetap ada. Jika tiap aplikasi memilih modelnya sendiri, disk dan swapping memori akan meledak
      Kemungkinan besar lebih baik jika pembuat perangkat menanamkan default bawaan. Ini bukan berarti melarang penggunaan model lain, tetapi satu default bersama mungkin adalah pilihan terbaik bagi 99% aplikasi, baik dari sisi pengalaman pengembang maupun pengguna
      Fakta bahwa model itu sudah dimuat di memori adalah peningkatan performa terbesar, dan model default jauh lebih mungkin tetap hangat
      “Model terbaik” biasanya adalah “model terbaik untuk perangkat ini” dengan mempertimbangkan RAM dan beban komputasi. Pengembang tidak bisa menguji semua perangkat, tetapi Apple bisa dan akan melakukannya
      Tiap model harus dioptimalkan untuk perangkat keras. Penting untuk mengetahui apa yang berjalan di ANE, Metal, atau CPU, dan model default akan dioptimalkan
      Jika butuh model khusus, LoRA mungkin yang terbaik. Ukurannya sekitar 30MB dan tetap mendapat semua keuntungan di atas
      Bisa saja dikatakan default harus bisa diganti, tetapi itu lebih dekat ke ideal ala Linux daripada Apple, jadi entah akan benar-benar kita lihat atau tidak. Selain itu ada kekurangan nyata juga. Disengaja atau tidak, prompt biasanya dioptimalkan untuk model target yang dikembangkan, jadi jika model sistem default diganti, kualitas semua aplikasi bisa menurun
    • Ini kesempatan bagus bagi Apple untuk menyediakan protokol ID model unik universal dan ruang penyimpanan bersama agar pengembang bisa mendaftarkan model
    • Lihat “Bring an LLM provider to the Foundation Models framework”
      https://developer.apple.com/videos/play/wwdc2026/339
    • Aplikasi bisa memakai model di perangkat yang disediakan sistem lewat framework dan API yang sama. Tetapi tidak ada mekanisme untuk menghilangkan duplikasi model kustom antar aplikasi
    • Itulah tepatnya foundation models. AICore di Android juga memakai Gemma secara internal, sehingga aplikasi akan meminta jawaban ke LLM alih-alih membundel modelnya sendiri

  • Saya jadi bertanya-tanya apakah Apple sedang mendorong pengembang agar memakai LLM melalui lapisan abstraksi API miliknya. Mungkin ini untuk membantu pengembang beralih mulus ketika nanti mereka merilis LLM sendiri
    Sepertinya saya pernah dengar bahwa Apple menghabiskan banyak uang untuk pelatihan dan itu entah bagaimana bisa terkait dengan Siri atau Apple AI saat ini. Atau mungkin ini cuma fitur demi kenyamanan pengembang, atau ada maksud lain

    • Apple punya beberapa mekanisme yang cukup cerdas untuk melindungi data pengguna. Baru-baru ini saya harus mengerjakan hal terkait pelacakan aplikasi, dan ternyata cara mereka menyembunyikan detail pengguna ke dalam kohor yang dianonimkan dengan SKAN dan differential privacy sebelum melaporkan event pelacakan ke platform pihak ketiga dirancang lebih baik dari yang saya perkirakan
      Jika Anda peduli pada privasi, ada nilai tambah ketika Apple berada di tengah
    • Ini adalah dukungan framework baru yang akan masuk ke reality/mac/iPad/watch/tv/iOS 27. Mereka bilang akan merilisnya sebagai open source akhir tahun ini, jadi tampaknya juga bisa dimanfaatkan saat men-deploy Swift ke backend
      Inti framework ini adalah memungkinkan API yang sama menargetkan model bawaan perangkat, model online yang di-host Apple yaitu Private Cloud Computer, atau shim buatan sendiri yang memanggil model online yang di-host secara arbitrer
      Dengan begitu, Anda tidak perlu membuat lapisan abstraksi sendiri seperti “yang ini pakai model lokal, yang itu pakai Claude” atau menempelkan integrasi API Anthropic/OpenAI secara langsung; Anda bisa memakai API sistem untuk merutekan panggilan secara dinamis ke berbagai tipe model/penyedia
      Ada berbagai kemudahan dan keunikan, seperti mengabstraksikan hal-hal seperti pemanggilan tool di satu tempat, lalu tetap melanjutkan transcript yang sama meskipun penyedia atau model diganti secara dinamis di tengah sesi
    • Secara sinis, atau realistis, lapisan abstraksi ini terasa seperti cara Apple agar pengguna tetap menganggap fitur itu sebagai hasil kerja Apple Intelligence, meskipun LLM sebenarnya disediakan perusahaan lain
    • Ini memang tafsir yang agak gelap, tetapi tidak sepenuhnya tidak masuk akal. Apple jadi lebih mudah mengambil pembayaran untuk model yang disediakan perusahaan lain, dan jika mereka mau, mereka juga bisa mengumpulkan data dari cara pengguna memakai model pihak ketiga untuk membangun dataset pelatihan model mereka sendiri
      Karena API ini hanya bisa dipakai di perangkat Apple, efeknya juga memecah pasar dan makin mengunci pengguna, karena pengembang tidak bisa memakai sistem yang sama agar aplikasinya berjalan baik di iOS
    • Sudah ada model di perangkat yang bisa dipakai pengembang melalui framework ini. Claude hanyalah salah satu model tambahan di sana

  • Tampaknya Apple sedang bersiap untuk saat model on-device mereka menjadi lebih baik, dan itu masuk akal kalau mengingat mereka jadi punya akses ke Gemini
    Jika para pengembang menulis semua kode pemanggilan LLM eksternal lewat ini, maka ketika model Apple makin mumpuni dan mencakup lebih banyak use case, perubahannya bisa dilakukan dengan mudah di tiap titik pemanggilan. Itu akan memperbaiki pengalaman pengguna aplikasi dan juga menurunkan biaya tagihan pengembang yang tidak menghasilkan komisi untuk Apple

    • Dengan kata lain, karena ini tidak menghasilkan uang, kecil kemungkinan itu akan terjadi. Apple akan lebih baik membuat paket AI dan AI-lite baru yang bisa dilanggani orang
      Apple adalah perusahaan, dan kita semua tahu apa yang dipedulikan perusahaan, jadi kecil kemungkinan ini akan menjadi utopia model lokal yang berjalan di ponsel
    • Saya tidak paham bagaimana memakai Gemini akan membuat model on-device menjadi lebih baik
    • Pengalaman pengguna adalah nama lain dari membangun ekosistem, dan itulah hal yang paling jago dilakukan Apple dibanding para pesaingnya. Memiliki perangkat keras yang sesuai untuk itu juga jelas membantu
      Bukan tanpa alasan Microsoft dan Nvidia bekerja sama

  • Saya penasaran bagaimana ini benar-benar dipakai dalam software yang didistribusikan ke pengguna. Menyuruh pengguna membuat dan memasukkan API key sendiri terasa sebagai hambatan yang terlalu tinggi untuk pengalaman pengguna yang baik

    • Hambatan yang lebih besar adalah membuat pengguna biasa, yaitu orang yang bukan pengembang, menerima harga berbasis token
      Struktur seperti “membayar uang dengan jumlah yang tidak pasti untuk satu pertanyaan, mungkin tetap tidak mendapat jawaban yang diinginkan, dan kalau ingin memakai lebih banyak harus bayar lagi” tidak menarik bagi kebanyakan orang yang bukan penjudi. Menjelaskan bahwa ucapan “terima kasih” di akhir percakapan panjang bisa mahal karena konteks juga akan lebih sulit diterima oleh pengguna rata-rata
      Biaya token yang naik turun seperti yoyo juga tidak membantu. Pengguna umum butuh biaya tetap dan tidak ingin menghabiskan energi untuk terus mengikuti perubahan dunia AI. Masalah seperti “bulan lalu langganan saya bertahan jauh lebih lama” juga bukan arah yang baik
      Dalam kebanyakan kasus, menurut saya penilaian Apple bahwa LLM lokal adalah masa depan itu benar
    • Memang benar. Saya menjalankan allihat.com, dan tampaknya itu masih satu-satunya ekstensi Safari yang berkomunikasi dengan Claude, serta permintaannya juga lumayan ada. Tapi pengguna tetap harus memasukkan sendiri Claude API key sialan itu
      Saya juga masih belum sepenuhnya paham ketentuan Anthropic. Memang ada hal seperti setup-token Set up a long-lived authentication token (requires Claude subscription) yang bisa dimasukkan, tapi itu terlihat seperti jebakan. Saya tidak tahu siapa yang memakainya, dan rasanya begitu dipakai di mana pun langsung menjadi pelanggaran ketentuan
      Saat ini di allihat.com, kalau tidak mau memakai key Claude, pengguna bisa memakai model Apple lokal, dan tingkat konversi ke pengguna berbayar naik sekitar 3x lipat. Tapi tentu saja itu bukan pengganti Claude. Saya berharap Apple membuat semacam mekanisme yang bertindak sebagai proksi Claude, supaya saya juga tidak perlu mem-proxy lewat server saya sendiri hanya untuk mengelola pemakaian API Claude
    • Untuk production, tertulis bahwa permintaan harus diarahkan melalui backend sendiri dengan .proxied
      Apple menyediakan model AI gratis melalui server mereka untuk pengembang dengan kurang dari 2 juta unduhan https://techcrunch.com/2026/06/08/apple-bets-cheaper-ai-will...
    • Sama seperti sebelumnya, cukup proxy permintaannya lewat backend sendiri
    • Bukan berarti pengguna memberikan API key mereka. Di dokumentasi dijelaskan cara menyiapkan backend proxy

  • Saya paham bahwa kalimat “permintaan pergi langsung dari aplikasi ke Claude API, Apple tidak berada di jalur permintaan, dan tidak melihat prompt maupun respons” itu ditulis dari sudut pandang pengembang
    Tapi dari sudut pandang konsumen, itu tetap terasa lucu

    • Kenapa?

  • Microsoft lebih dulu merusak permainan dengan memasukkan pernyataan di ketentuan Copilot bahwa “Copilot disediakan hanya untuk tujuan hiburan”, lalu juga menambahkan peringatan pada Copilot untuk Excel agar “menghindari penggunaan COPILOT untuk pekerjaan yang membutuhkan akurasi atau reproduksibilitas, atau yang memiliki implikasi hukum, regulasi, atau kepatuhan”
    Lalu Apple secara diam-diam menolak ikut arus dengan tidak menginvestasikan miliaran hingga ratusan miliar dolar untuk membuat LLM pesaing. Tentu, mereka tetap menjual ulang Claude atau memanfaatkan Gemini demi orang-orang yang naif, tetapi Apple paham situasinya
    https://www.microsoft.com/en-us/microsoft-copilot/for-indivi...
    https://support.microsoft.com/en-US/Excel/copilot-function

  • Agen coding itu sendiri sudah merupakan lapisan yang dipaksakan, dan sekarang kita mau menambah satu lapisan lagi. Agen coding sering terasa seperti vendor manager dari perusahaan outsourcing tahun 90-an
    Menjanjikan segalanya kepada pelanggan, lalu menekan kontraktor malang agar tetap mengirimkan hasil. Agen coding juga menghabiskan token 10 kali lebih banyak, seperti selisih antara uang yang ditagihkan perusahaan outsourcing ke pelanggan dan yang dibayarkan ke kontraktor. Uji sederhananya, pekerjaan yang membuat model melewati batas panjang konteks ketika lewat agen coding justru berjalan baik jika diprompt langsung
    Lapisan adalah kemewahan, dan ia menghilangkan kendali serta transparansi

    • Saya tidak akan memakai ini saat membuat agen coding