iPhone seharga seribu dolar tidak bisa berhitung

• Pada iPhone 16 Pro Max, saat menjalankan MLX LLM muncul output numerik yang salah, sementara kode yang sama berjalan normal di iPhone 15 Pro dan MacBook Pro
• Nilai tensor berbeda lebih dari satu digit, dan hasil terdistorsi bahkan untuk input yang sama
• Penyebab masalah diduga sebagai cacat perangkat keras pada Neural Engine atau stack komputasi ML berbasis Metal
• Fitur Apple Intelligence juga menunjukkan ketidakstabilan serupa, seperti kegagalan mengunduh, sehingga memunculkan kemungkinan adanya keterkaitan
• Pengembang menekankan bahwa saat debugging, masalah perangkat keras fisik juga harus dipertimbangkan

---

Ditemukan error saat menjalankan MLX LLM

• Di iPhone 16 Pro Max, saat menjalankan LLM berbasis MLX dihasilkan output tak bermakna (gibberish)
  • Kode yang sama berjalan normal di iPhone 15 Pro dan MacBook Pro
  • Penggunaan CPU melonjak ke 100%, dan token “stop” tidak pernah dihasilkan sehingga kondisi output tanpa akhir terus berlanjut
• Meski memakai model dan prompt yang sama, nilai output tensor menjadi tidak normal dan membesar
  • Di iPhone 15 Pro: [53.875, 62.5625, -187.75, ...]
  • Di iPhone 16 Pro Max: [191.5, 23.625, 173.75, ..., 1298, -147.25, -162.5]
  • Nilai input sama, tetapi pada tahap komputasi menengah angkanya tiba-tiba terdistorsi secara drastis

Masalah pada fitur Apple Intelligence

• Saat mencoba mengimplementasikan fitur klasifikasi pengeluaran menggunakan API Apple Intelligence, dukungan model tidak bisa diunduh
  • Meski pengaturan diubah berkali-kali, fitur tetap tidak aktif
  • Di forum komunitas Apple juga dilaporkan banyak pengguna mengalami masalah yang sama (12 halaman)
• Karena itu, akses Apple Intelligence ditinggalkan dan pendekatan berbasis MLX dipilih

Proses debugging dan pelacakan penyebab

• Dengan menetapkan breakpoint pada implementasi model Gemma di MLX, nilai tensor di tiap layer dilacak
  • Nilai input sama di kedua perangkat, tetapi di iPhone 16 Pro Max angkanya mulai membesar tidak normal sejak tahap menengah
  • Di Mac juga terkonfirmasi hasil normal yang sama seperti iPhone 15 Pro
• Dari sini, pengembang menjadi yakin bahwa ini adalah masalah perangkat keras, bukan kode atau model

Kemungkinan cacat perangkat keras

• Ada kemungkinan terjadi error komputasi pada Neural Engine chip A18 di iPhone 16 Pro Max atau pada jalur komputasi ML berbasis Metal
  • Karena MLX mengompilasi operasi tensor melalui Metal, cacat pada stack tersebut dapat menyebabkan distorsi hasil
• Disebutkan juga adanya kemungkinan penyebab yang sama dengan masalah Apple Intelligence, tetapi belum ada bukti yang jelas

Kesimpulan dan pelajaran

• iPhone 16 Pro Max yang bermasalah dipastikan sebagai unit dengan cacat perangkat keras
  • Setelah diganti ke iPhone 17 Pro Max, semua fungsi kembali berjalan normal
• Melalui pengalaman ini, pengembang menekankan bahwa saat debugging, bukan hanya software tetapi juga masalah perangkat keras fisik harus dipertimbangkan
• Tiga pelajaran:
  • Error saat menjalankan LLM tidak selalu merupakan masalah kode
  • Pentingnya pengujian perbandingan di lingkungan yang sama
  • Bahkan perangkat keras mahal pun belum tentu menjamin akurasi komputasi ML

[GN⁺]

Komentar Hacker News

• Terlepas dari metodologinya, menyuruh LLM melakukan penjumlahan bukanlah ide yang bagus
  Ini sama lucunya dengan pertanyaan seperti “apa hasil bulan ditambah matahari?”
  Namun fenomena kali ini berbeda. API operasi numerik Apple menghasilkan output yang tidak konsisten di beberapa perangkat. Ini masalah yang perlu diperhatikan Apple
  • Ini benar-benar agak melenceng, tapi yang langsung terlintas di kepalaku adalah “terang”.
    Karena jika matahari(日) dan bulan(月) digabungkan menjadi 明 (tautan wiki)
    Jawaban seperti “bulan purnama” juga mungkin, tapi tampaknya tidak ada jawaban yang jelas dan deterministik
  • “Bulan tambah matahari?” Itu tentu saja gerhana (eclipse)
• Akan lebih baik kalau mereka juga mengujinya di iPhone 16 Pro Max lain. Sayang sekali kita jadi tidak tahu apakah ini masalah khusus pada unit itu
  • Betul. Sesuai yang biasanya direkomendasikan Apple Support, seharusnya OS di-reset lalu diinstal ulang
    Tentu dengan backup terlebih dahulu, dan kalau bisa menggunakan paket iCloud+. Untuk masalah seperti ini, itu solusi yang paling sederhana
  • Menurut pembaruan terbaru di bagian bawah halaman, di iPhone 17 Pro Max semuanya bekerja normal
    Jadi, tampaknya iPhone 16 Pro Max itu memang mengalami cacat perangkat keras
• Optimasi operasi numerik level rendah sering kali sulit direproduksi
  Misalnya ini juga disebutkan dalam dokumentasi Intel
  Meski begitu, tetap mengejutkan bahwa LLM sama sekali tidak berfungsi di iPhone 16. Biasanya LLM cukup toleran terhadap kuantisasi (quantization)
  • Bahwa “akumulasi floating-point tidak memenuhi sifat komutatif” adalah pengetahuan dasar
    Awalnya aku ingin mengabaikan masalah ini karena alasan itu,
    tetapi anehnya semua perangkat Apple lain menghasilkan hasil yang sama, dan hanya LLM bawaan Apple yang gagal di perangkat ini
    Ini tampaknya bukan masalah yang mendasar, melainkan kegagalan yang tak terduga. Tidak baik Apple mengirim perangkat dalam kondisi seperti ini
• Jujur saja, saat mengklik tulisan ini, kupikir isinya akan tentang kalkulator grafik lawas yang lebih baik daripada smartphone
  Saat ini aku memakai emulator HP Prime untuk matematika di ponselku
  • Aku suka PCalc. Sudah berjalan di semua platform Apple sejak era Mac Classic (tautan)
    Kalkulator favorit lainnya adalah free42 atau plus42 (tautan)
    Untuk alat CAS, MathStudio adalah yang terbaik (mathstud.io)
    Bisa dijalankan di browser, tetapi juga ada aplikasi mobile. Rasanya seperti Wolfram Alpha yang di-host sendiri
  • Secara pribadi aku memakai iHP48. Itu versi HP 48GX yang kupakai saat kuliah dengan metakernal terpasang
    Sampai sekarang masih intuitif dan cepat
  • Aku senang saat tahu bahwa aplikasi kalkulator bawaan iPhone bisa dihapus dan diganti dengan NumWorks
    Aku mengaturnya agar bisa langsung dijalankan lewat tombol Control Center
    Keluhanku, meski layarnya sebesar ini, riwayat perhitungan sebelumnya tidak bisa di-scroll untuk dilihat
    Aku sudah tidak ingin lagi melihat UI seperti tiruan kalkulator 4-fungsi tahun 1990-an
  • Di Android aku memakai emulator TI 83+. Berguna saat tidak bisa membawa kalkulator asli
  • Kalau perlu perhitungan serius, pada akhirnya aku tetap mengambil kalkulator TI-84 fisik. Soalnya sudah terbiasa dengan sensasinya di tangan
• Tulisannya menarik, tetapi logika di bagian akhir bahwa “MLX menggunakan Neural Engine” itu tidak tepat
  MLX juga bisa berjalan di CPU, Apple GPU (Metal), dan NVIDIA GPU (CUDA) (tautan)
• Akan membantu bukan hanya Apple tetapi juga orang lain jika mereka mengunggah kode yang bisa mereproduksi bug tersebut
• Jadi ini penyebab teks prediktif di iPhone-ku berantakan?
  • Ternyata bukan cuma aku. Sekitar 6 bulan terakhir mengetik benar-benar mengerikan
    Aku sudah mencoba berbagai kombinasi pengaturan, tetapi teks prediktif acak berhenti atau malfungsi
  • Sudah separah itu sampai rasanya seperti sengaja dibuat begitu
    Atau mungkin ini optimasi untuk mendorong orang beralih ke input suara
• Artikelnya bagus. Hanya saja akan lebih baik jika ada test case minimal yang dengan jelas menunjukkan apakah hasil operasi matematikanya benar-benar salah
• Saat ditanya “berapa 2+2?”, iPhone menjawab aneh seperti “Applied.....*_dAK[...]”
  Setidaknya untungnya bukan menjawab “7”
  • Mungkin saja Trurl dan Klapaucius yang menangani bagian tanya-jawabnya
• Mungkin aplikasi lain yang menggunakan Neural Engine juga menunjukkan gejala aneh serupa
  Akan menarik kalau beberapa aplikasi di App Store juga diuji