Mengupas Kesamaan Vektor dalam Embedding Berdimensi Tinggi

Metode untuk menghitung “probabilitas bahwa hasil kali dalam bernilai setidaknya sebesar nilai tertentu” di ruang berdimensi tinggi didasarkan pada prinsip yang sederhana. Hitung luas permukaan bola satuan, lalu hitung luas cap berdasarkan sudut yang direpresentasikan oleh hasil kali dalam tersebut, kemudian bandingkan dengan luas permukaan keseluruhan.

Namun, poin pentingnya adalah bahwa melalui perhitungan sederhana ini, kita dapat memahami secara konkret seberapa ‘langka atau umum’ suatu nilai hasil kali dalam di ruang embedding berdimensi tinggi. Khususnya, fakta bahwa hasil kali dalam 0.9 atau lebih sangat jarang menunjukkan dengan jelas betapa skor kesamaan yang tinggi dapat menjadi sinyal yang sangat penting dalam pencarian berbasis embedding.