Posits, jenis angka baru yang meningkatkan matematika AI

• Melatih jaringan saraf berukuran besar membutuhkan kemampuan komputasi dalam skala besar
  • Dalam kasus OpenAI GPT-3, biaya pelatihan saja mencapai lebih dari sekitar $5m
• Para insinyur merancang cara lain untuk merepresentasikan angka guna mengurangi beban biaya ini
• Posits, yang diusulkan pada 2017, merupakan peningkatan atas prosesor aritmetika floating point yang digunakan saat ini
• Core pertama yang mengimplementasikan ini pada level hardware telah dikembangkan. Dibandingkan metode FP saat ini, akurasi pekerjaan komputasi meningkat hingga 4 kali lipat

  Karena Hukum Moore mulai tidak lagi berlaku, kita perlu mencari cara untuk mendapatkan lebih banyak kinerja dari mesin yang sama
  Salah satu caranya adalah mengubah metode untuk mengodekan bilangan real (Real Number) dan cara merepresentasikan angka yang sebenarnya

• Bukan hanya tempat ini yang mencoba mengubah angka. Baru-baru ini Nvidia, Arm, dan Intel sepakat menggunakan angka floating point 8-bit alih-alih 32/16-bit untuk aplikasi machine learning
  • Menggunakan format yang lebih kecil dan kurang presisi meningkatkan efisiensi dan penggunaan memori dengan mengorbankan akurasi komputasi
• Karena bilangan real tak terbatas, hardware tidak dapat merepresentasikannya secara sempurna
• Agar sesuai dengan jumlah bit yang ditentukan, banyak bilangan real harus dibulatkan
• Keunggulan Posits berasal dari cara angka yang ingin direpresentasikan secara akurat didistribusikan di sepanjang garis bilangan
  ( Untuk distribusi Posits yang sebenarnya, silakan lihat gambar yang disertakan dalam artikel. )
• Peningkatan akurasi yang diperoleh dari ini memang tak terbantahkan, tetapi masih harus dilihat dampak pastinya terhadap pelatihan AI besar seperti GPT-3