OpenMythos: Muncul implementasi open-source yang merekayasa balik Claude Mythos

Ringkasan satu baris

👉 Proyek open-source yang mengasumsikan arsitektur Claude Mythos dan mengimplementasikannya dalam bentuk “transformer yang berpikir secara berulang”

⸻

Apa itu

OpenMythos adalah upaya untuk mereproduksi arsitektur Claude Mythos, yang dikenal sebagai model generasi berikutnya dari Anthropic, dengan menggabungkan informasi yang dipublikasikan dan ide-ide riset.

Ini bukan model yang sebenarnya, melainkan proyek yang mewujudkan dalam kode hipotesis bahwa
“model ini mungkin bekerja dengan cara seperti ini”.

⸻

Ide inti

Inti proyek ini, berbeda dari LLM yang ada,
adalah bukan memperbesar model, melainkan menjalankan struktur yang sama berulang kali.

Dengan memutar satu layer berkali-kali dan memperbarui status internal secara bertahap,
model melakukan penalaran yang lebih dalam dalam proses tersebut.

⸻

Struktur utama

• Struktur yang menjalankan blok transformer yang sama secara berulang
• Pakar yang berbeda (MoE) diaktifkan secara selektif selama proses pengulangan
• Hasil antara diproses dalam status internal tanpa dikeluarkan sebagai token eksternal
• Menerapkan struktur attention untuk meningkatkan efisiensi memori

⸻

Perbedaan dengan pendekatan yang ada

Jika LLM pada umumnya menampilkan proses penalaran sambil menghasilkan token,
struktur ini lebih mendekati pendekatan yang mengulang komputasi berkali-kali di dalam lalu hanya mengeluarkan hasil akhir.

Dengan kata lain, alih-alih “berpikir sambil berbicara”,
model ini menargetkan “berbicara setelah berpikir cukup lama di dalam”.

⸻

Makna

Pendekatan ini juga terkait dengan masalah biaya akibat meningkatnya penggunaan token.
Sebab, jika penalaran diproses melalui pengulangan internal, jumlah token yang dihasilkan ke luar dapat dikurangi.

Selain itu, pendekatan ini dapat dilihat sebagai arah baru karena meningkatkan performa model bukan melalui penambahan jumlah parameter,
melainkan dengan menambah jumlah komputasi pada tahap penalaran.

⸻

Keterbatasan

Belum ada jaminan bahwa ini identik dengan arsitektur Claude Mythos yang sebenarnya,
dan hasil performa terverifikasi maupun hasil eksperimen skala besar juga masih kurang.

⸻

Insight satu baris

👉 Alih-alih terus memperbesar model, arah desain LLM generasi berikutnya bisa jadi membuat model yang sama berjalan berulang kali agar dapat berpikir lebih dalam

[skageektp]

> Tidak ada jaminan bahwa ini benar-benar sama dengan arsitektur Claude Mythos yang sebenarnya,

Kalau begitu ini sama sekali bukan hasil reverse engineering, kan;;

[aliveornot]

Akan bagus kalau ada tombol downvote di GeekNews.

[akapwhd]

Bukan model yang sebenarnya, melainkan proyek yang mengimplementasikan hipotesis dalam bentuk kode bahwa “mungkin bekerja dengan cara seperti ini”..

Kenapa tidak bikin saja gpt 6 lalu bilang mungkin bisa bekerja dengan cara seperti ini~ wkwk

[rtyu1120]

Bahkan belum pernah dirilis secara publik, bagaimana bisa direkayasa balik...??

[pmc7777]

Orang ini sepertinya setiap kali ada isu yang sedang ramai, selalu memproduksi nama dengan pola open*, jadi kesannya menurut saya tidak terlalu bagus..

[twiddlingguidable]

Begitu tahu siapa yang melakukannya, saya cuma bisa mengangguk setelah lihat ternyata dia pimpinan proyek koin..

[princox]

Oh, benar juga. Melihat daftar repo, sepertinya ada beberapa proyek lain lagi yang dimulai dengan Open..