Model teks prediktif baru Apple berbasis 'Transformer'

• Apple mengumumkan fitur baru di iOS dan macOS yang memanfaatkan model bahasa transformer: memberikan rekomendasi teks prediktif saat pengguna mengetik
• Ini merupakan salah satu model berbasis transformer pertama yang diakui Apple secara terbuka, dan akan diintegrasikan ke dalam sistem operasi
• Fitur ini mirip dengan pelengkapan otomatis Gmail, menyelesaikan kata per kata dan terkadang menyarankan lebih dari dua kata sekaligus
• Model teks prediktif ditemukan di AppleSpell, aplikasi internal macOS yang memeriksa kesalahan ejaan dan tata bahasa saat pengguna mengetik
• Model ini berada di /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle, yang berisi beberapa berkas model Espresso yang digunakan selama pengetikan
• Kosakata model teks prediktif terdiri dari 15.000 token, termasuk token khusus, singkatan, dan emotikon
• Arsitektur model teks prediktif tampaknya didasarkan pada GPT-2, mencakup token embedding, position encoding, serangkaian blok decoder, dan lapisan output
• Model teks prediktif Apple memiliki sekitar 34 juta parameter dan 512 hidden unit, sehingga jauh lebih kecil daripada versi GPT-2 paling kecil
• Karena ukurannya kecil, model ini dapat berjalan cepat dan sering tanpa banyak menguras baterai perangkat, sehingga meningkatkan pengalaman pengguna
• Karena keterbatasan ukuran model, kemampuannya belum cukup untuk menulis kalimat atau paragraf utuh, tetapi cukup baik untuk memberi saran kepada pengguna saat model sangat yakin dengan kata berikutnya atau dua kata berikutnya
• Bagi yang ingin langsung mencoba fitur teks prediktif ini, penulis menyediakan skrip di GitHub

[GN⁺]

Opini Hacker News

• Penulis postingan tersebut terkejut artikelnya menjadi populer di Hacker News, dan menyatakan akan menjawab pertanyaan terkait hal itu.
• Sebagian pengguna mempertanyakan apakah model teks prediktif baru Apple lebih unggul daripada GPT2. Yang terakhir cenderung menghasilkan teks yang tidak relevan berdasarkan input pengguna.
• Masih ada perdebatan apakah model teks prediktif harus menghasilkan kalimat lengkap, atau hanya memprediksi input yang dimaksud pengguna.
• Pengaturan temperatur yang mengontrol probabilitas memilih token selain prediksi teratas tidak disebutkan dalam pengujian. Pengaturan ini dapat memengaruhi kreativitas dan pengulangan keluaran model.
• Sebagian pengguna menemukan bahwa unilm.bundle adalah model prediksi teks baru dengan mengamati log konsol iOS Simulator.
• Ada spekulasi apakah versi masa depan model Apple akan beralih ke model yang lebih kecil yang dilatih dengan data berkualitas lebih tinggi, dan apakah Apple akan mengembangkan versinya sendiri dari Copilot untuk Xcode.
• Sebagian pengguna berpendapat bahwa jika tujuan prediksi teks adalah mempercepat input teks, antarmuka input bisa menjadi bottleneck, yang menunjukkan perlunya cara untuk memasukkan teks dengan lebih cepat.
• Penerapan AI juga dibahas, dan sebagian pengguna menyarankan bahwa AI sebaiknya digunakan untuk mengerjakan tugas-tugas kecil yang andal, alih-alih dijual sebagai solusi end-to-end.
• Muncul pertanyaan apakah model teks prediktif baru dapat meningkat berdasarkan pengalaman atau riwayat iMessage.
• Istilah UnilmCtrl diperkirakan mengisyaratkan adanya ketergantungan pada model CTRL milik Socher, tetapi hal ini belum dikonfirmasi. Sebagian pengguna mengatakan mereka akan lebih menghormati Apple jika perusahaan itu sudah lebih lama bekerja di bidang NLP.