Versor: framework PyTorch yang menggunakan rotasi geometris (Rotor) alih-alih perkalian matriks

Di balik pencapaian luar biasa deep learning, selalu ada 'perkalian matriks (Wx+b)'. Namun, Versor mempertanyakan standar ini. Alasannya, "matriks menimbulkan distorsi yang merobek atau mengerutkan manifold saat memproses data."

Versor adalah framework PyTorch berbasis Geometric Algebra yang dikembangkan untuk melampaui "Linear Algebra Ceiling" ini. Dengan menggunakan rotor alih-alih matriks, Versor menghadirkan paradigma deep learning baru yang mempertahankan struktur topologis bawaan data.

Filosofi inti: Unbending (meluruskan) lalu Filtering (menyaring)

Pendekatan Versor bukan sekadar "membawa semuanya tanpa mengurangi dimensi". Intinya adalah "menyelaraskan data tanpa merusaknya, lalu mengekstrak hanya informasi yang diperlukan secara rapi".

1. Unbending (Rotor)

   Matriks biasa melibatkan shear dan stretch, tetapi perkalian sandwich rotor adalah isometri. Ibarat menyetrika kertas kusut, data diputar dan diluruskan sambil menjaga jarak dan sudutnya tetap terpelihara sempurna.

2. Geometric Filtering (BladeSelector)

   Ketika data telah diluruskan secara geometris dengan benar, informasinya akan tersusun pada sumbu tertentu (basis blade) atau grade tertentu. Pada tahap ini, BladeSelector membuang noise dan hanya menyisakan informasi geometris inti (misalnya komponen vektor) untuk mengurangi dimensi. Ini adalah bentuk kompresi yang secara kualitatif berbeda dari pendekatan konvensional (projection) yang memaksa data menjadi terdistorsi demi mengurangi dimensi.

Fitur utama

• Metric-Agnostic Kernel: Dari Euclidean (Cl(3,0)) hingga spacetime (Cl(1,3)) dan conformal geometry (Cl(4,1)), kode yang sama dapat dijalankan hanya dengan mengganti signature.

• White-Box AI: Parameter yang dipelajari bukan angka yang tak diketahui, melainkan "bidang rotasi (bivector)". Artinya, model dapat diinterpretasikan untuk melihat "bidang mana" dan "sejauh apa" data diputar agar selaras.

• Ringan dengan performa tinggi: Mendukung scaling O(n), dan cukup ringan hingga inferensi real-time (5.8ms/molekul) dimungkinkan bahkan pada CPU M4.

Jika GATr dan pendekatan lain yang belakangan mendapat perhatian di dunia akademik memanfaatkan GA sebagai 'pendekatan arsitektural' di dalam struktur transformer, Versor berfokus pada 'esensi geometris' dengan memperkenalkan rotor sejak unit operasi paling dasar untuk memblokir distorsi ruang dari akarnya. Berkat itu, Versor mencapai inferensi real-time dengan parameter yang jauh lebih sedikit.

Hasil benchmark

• QM9 (sifat molekuler): Saat menerapkan geometri Euclidean 3D (Cl(3,0)), mencapai MAE 14.42 meV hanya dengan 1 jam pelatihan pada satu GPU 4090.

• Motion Alignment (UCI-HAR): Menyelaraskan data gerak berdimensi tinggi ke ruang laten yang dapat dipisahkan secara linear hanya dengan rotasi, dan mencapai akurasi ~100%.

• Semantic Disentanglement (NLP): Mencapai Grade Purity 100% pada dataset 20 Newsgroups melalui pemisahan geometris. (Grade Purity 100% berarti data yang semula saling terjalin secara kompleks berhasil dipisahkan dan disejajarkan sempurna hanya sebagai komponen 'vector' tanpa noise, yang membuktikan secara matematis keberhasilan pembelajaran struktur geometris.)

Bukankah ini overfitting?

Kecepatan konvergensi yang tinggi dan akurasi yang baik memang bisa menimbulkan kecurigaan, tetapi itu dimungkinkan berkat geometric inductive bias yang kuat.

• Matriks biasa (n x n) memiliki derajat kebebasan yang terlalu tinggi sehingga bahkan noise pun ikut dipelajari,

• sedangkan rotor pada Versor secara matematis dibatasi agar hanya memungkinkan 'rotation'.

• Karena secara struktural tidak bisa melakukan shear atau stretch, model tidak dapat mempelajari apa pun selain struktur esensial data, bahkan jika ia "ingin" melakukannya. Hasilnya, performa generalisasi tetap unggul meski dengan parameter yang sedikit.

Karena Versor berjalan di atas Pytorch, antarmuka yang mirip dapat digunakan apa adanya. Selain itu, saat ini task dan metric baru juga sedang aktif dikembangkan, jadi masukan Anda sangat kami hargai.

[kunggom]

Apakah Anda bisa menjelaskan bagaimana proyek yang Anda unggah terkait dengan makalah berikut?

Versor: A Geometric Sequence Architecture
https://arxiv.org/abs/2602.10195
https://github.com/VersorAI/Versor

Namanya sama persis dan konsep yang digunakan juga tampak mirip, tetapi ini bukan bidang yang saya pahami dengan baik, jadi saya kurang mengerti seperti apa keterkaitannya.
Melihat demo spesifiknya berbeda, tampaknya ini mungkin kasus di mana ide yang mirip muncul hampir bersamaan pada waktu yang sama. Saya juga penasaran apakah tren terbaru di bidang ini sendiri memang sedang mengarah ke pendekatan seperti ini, sehingga saya ingin bertanya.

[concode0]

Terima kasih atas perhatian Anda. Terkait makalah yang Anda tanyakan, saya sudah mengetahuinya dan secara pribadi telah melakukan tinjauan teknis yang mendalam.
Berdasarkan hasil peninjauan, saya menemukan banyak indikasi serius pelanggaran integritas riset (Research Misconduct), termasuk ketidakmungkinan secara fisik pada metrik kinerja yang diklaim dalam makalah tersebut serta manipulasi data. Karena itu, saya telah menyampaikan laporan resmi kepada komite etika penelitian di institusi afiliasi para penulis, yaitu QMUL (Queen Mary University of London).
Saat ini, saya telah menerima balasan dari pihak universitas bahwa laporan tersebut telah diterima dengan semestinya dan proses penyelidikan resmi (tahap triase/Triage stage) telah dimulai. Oleh karena itu, saya akan berterima kasih jika hal ini dipahami bukan sebagai kasus ide yang kebetulan sama, melainkan sebagai perkara yang sedang menjalani penyelidikan resmi setelah ditemukan cacat etika penelitian pada makalah tersebut.
Sekali lagi, terima kasih karena telah menghargai nilai proyek orisinal ini dan meninggalkan pertanyaan.

[kunggom]

Begitu ya. Semoga semuanya bisa berjalan lancar sesuai alurnya.

[junghan0611]

Oh, menarik.

[villcenter1]

Apakah ada hasil yang bisa dibuktikan dengan angka, bukan metrik yang ambigu seperti "unggul"?

[concode0]

Terima kasih atas masukannya. Angka-angka yang tercantum di teks utama mungkin terasa agak asing sehingga Anda bisa saja merasa itu “ambigu”, tetapi Versor dikembangkan sepenuhnya berdasarkan pembuktian numerik. Izinkan kami merangkum kembali metrik utamanya.

Pada tugas QM9, kami mencapai 14.42 meV dalam waktu kurang dari 1 jam dengan satu 4090. Dibandingkan dengan model SOTA sebelumnya yang memerlukan komputasi klaster skala besar selama beberapa hari, angka ini membuktikan efisiensi sumber daya yang puluhan kali lebih tinggi.

Bahkan di lingkungan CPU (M4), Versor mencatat kecepatan inferensi 5.8ms/molecule, yang menegaskan efisiensinya dibandingkan berbagai model lain.

Pada tugas UCI-HAR juga, melalui penyelarasan geometris, Versor memperoleh akurasi 100% dan Grade Purity. Ini bukan sekadar tebakan statistik, melainkan angka paling jelas yang menunjukkan bahwa struktur topologis data telah disejajarkan secara sempurna.

Versor membuktikan entitas matematis berupa kendala geometris. Pada benchmark yang akan dipublikasikan berikutnya, kami juga akan menjawab dengan angka, jadi mohon nantikan.

[skageektp]

Angkanya juga sudah dijelaskan dengan baik, tetapi akan lebih bagus jika ada perbandingan angkanya. Yang ingin diketahui saat melakukan hal serupa di hardware yang sama adalah seberapa banyak kecepatannya meningkat, sedangkan bagi banyak orang angka kecepatannya "berapa" sendiri sebenarnya kurang memberi gambaran dan tidak terlalu membuat penasaran.

[concode0]

Data perbandingan tentu akan disertakan. Namun, saya menilai bahwa hanya dengan angka efisiensi per jam pada satu GPU yang sudah disajikan, sifat inovatif dari arsitektur ini sudah cukup terjelaskan. Jika Anda menginginkan perbandingan yang lebih intuitif, kami akan berterima kasih jika Anda menunggu grafik yang akan segera diperbarui.

[heal9179]

Menurut saya pendekatan seperti ini benar-benar bagus.
Saya sempat berpikir sisi topologi aljabar mungkin akan bermakna, tetapi pendekatan ini jauh lebih sederhana.

[concode0]

Terima kasih banyak atas empatinya. Saya juga sempat mempertimbangkan pendekatan dari sisi topologi aljabar selama proses riset, tetapi pada akhirnya saya sampai pada kesimpulan bahwa, dari sudut pandang rekayasa, kejernihan geometri aljabar lebih selaras dengan deep learning. Karena Anda melihat nilai dari "kesederhanaan" itu, saya jadi memperoleh keyakinan yang besar terhadap pendekatan saya.