Perbandingan LLM Lokal dan Wikipedia Offline

• Artikel terbaru dari MIT Technology Review memperkenalkan gagasan membandingkan LLM lokal dengan Wikipedia cadangan offline
• Ukuran file model LLM utama di pustaka Ollama dan kapasitas bundel Wikipedia offline yang disediakan Kiwix dibandingkan secara langsung
• File LLM dan data Wikipedia memiliki tujuan, kekuatan, dan kelemahan yang berbeda sehingga sulit dibandingkan secara sederhana, tetapi ada perbedaan menarik dari sisi kapasitas
• Beberapa LLM (model 1~4GB) lebih besar daripada Simple English Wikipedia (sekitar 1GB), dan Wikipedia penuh (57GB) lebih besar daripada LLM besar (20~32GB)
• Selain ukuran file, perlu dipertimbangkan hal-hal praktis seperti kebutuhan memori dan CPU, dan pilihan bisa berbeda tergantung tujuan penggunaan sebenarnya

---

Perbandingan LLM Lokal dan Wikipedia Offline

Pendahuluan dan Latar Belakang Perbandingan

• MIT Technology Review baru-baru ini memperkenalkan artikel berjudul "How to run an LLM on your laptop"
• Artikel tersebut menekankan bahwa menjalankan LLM secara lokal memungkinkan pemanfaatan pengetahuan bahkan di lingkungan offline
• Perumpamaan Simon Willison sangat berkesan: "LLM offline itu seperti versi ringkasan dan tidak lengkap dari Wikipedia; dalam situasi kiamat, jika hanya ada USB, itu bisa membantu me-reboot peradaban"

Perbandingan Ukuran Model dan Data

• Ukuran file berbagai model LLM di pustaka Ollama dibandingkan dengan bundel Wikipedia offline yang disediakan oleh Kiwix
• Untuk perbandingan ini, cakupan dibatasi pada model yang dapat dijalankan pada perangkat keras konsumen umum dan data Wikipedia tanpa gambar
• Hasil perbandingan utama adalah sebagai berikut:
  • Versi ringkasan terkecil
    • Best of Wikipedia (50 ribu artikel teratas, versi ringkasan): 356.9MB
    • Simple English Wikipedia (versi ringkasan): 417.5MB
  • Model LLM representatif (kecil)
    • Qwen 3 0.6B: 523MB
    • Deepseek-R1 1.5B: 1.1GB
    • Llama 3.2 1B: 1.3GB
  • Model LLM representatif (menengah-besar)
    • Deepseek-R1 8B / Qwen 3 8B: 5.2GB
    • Gemma3n e4B: 7.5GB
    • Deepseek-R1 14B: 9GB
    • Qwen 3 14B: 9.3GB
  • Wikipedia penuh
    • Wikipedia (penuh): 57.18GB
• 50 ribu artikel teratas Wikipedia sangat kecil, hanya 356.9MB
• LLM terkecil (0.6B, Qwen) berukuran 523MB, lebih besar daripada versi ringkasan Wikipedia sederhana
• Wikipedia penuh (57.18GB) jauh lebih besar daripada LLM terbesar (20GB)

Batasan Perbandingan dan Hal yang Perlu Dipertimbangkan

• Sulit dibandingkan secara langsung: ensiklopedia (data) dan LLM (model generatif) pada dasarnya berbeda dalam tujuan dan struktur
• Ukuran file bukan satu-satunya hal penting: selain ukuran file, LLM juga membutuhkan memori dan sumber daya CPU saat dijalankan. Wikipedia offline lebih mudah dijalankan di perangkat berspesifikasi rendah
• Kegunaan berdasarkan tujuan nyata: misalnya, Anda bisa hanya mengunduh bidang kimia, atau menggunakan LLM yang dioptimalkan untuk perangkat keras tertentu
• Subjektivitas kriteria pemilihan: pemilihan item yang digunakan untuk perbandingan bersifat subjektif

Kesimpulan dan Implikasi

• 50 ribu artikel teratas Wikipedia dan model Llama 3.2 3B memiliki ukuran file yang kurang lebih serupa
• Bundel Wikipedia terkecil bahkan lebih kecil daripada LLM terkecil, sedangkan file Wikipedia penuh lebih besar daripada LLM terbesar
• Di lingkungan dengan penyimpanan yang cukup, layak juga mempertimbangkan untuk mengunduh dan memanfaatkan baik LLM maupun data Wikipedia

[GN⁺]

Komentar Hacker News

• Kekuatan LLM bukan sekadar menyimpan atau mengambil pengetahuan, melainkan pada kemampuannya memahami; bukan hanya data mentah seperti Wikipedia, tetapi juga mampu menangkap pertanyaan yang ambigu atau tidak akurat, menjelaskan sesuai tingkat pemahaman pengguna, dan menghubungkan berbagai bidang. Dalam situasi membangun ulang masyarakat, pemahaman yang interaktif seperti ini bisa jadi lebih bernilai. Bukan sekadar snapshot pengetahuan, tetapi alat yang membantu orang memanfaatkannya dan belajar darinya
  • Mengingatkan pada episode Star Trek, ketika komputer yang tidak bisa dipercaya dipuja seperti dewa oleh masyarakat pra-informasi
  • Saya tidak tahu apakah LLM itu “lebih” bernilai, tapi jelas berguna. Saya tidak terlalu suka cara AI dipakai saat ini; pada dasarnya seperti autocomplete yang diperkuat. Meski begitu, sebagai mesin pencari, ia bekerja sangat baik. Kalau memberi Copilot pertanyaan singkat, sering dapat jawaban yang lumayan. Namun untuk pertanyaan teknis yang sangat dalam, ia sering banyak mengarang, jadi kita harus selalu waspada. Saya pernah memintanya membuat file repositori CentOS, dan hasilnya hampir sempurna, tetapi gpgkey diarahkan ke http, sehingga keamanan jadi bolong
  • Idealnya kita membaca sumber primer secara kritis, bukan ringkasan buatan orang lain. Semua orang belajar itu di sekolah dan setuju, tetapi sedikit yang benar-benar melakukannya. Setelah lulus, orang cenderung hanya mempercayai sumber tersier. Saya pernah memanfaatkan LLM untuk menemukan arus terbaru dalam historiografi sebuah topik dan bahan yang layak dirujuk. Di sisi lain, saya juga sering melihat editor Wikipedia bersikap defensif ketika diberi tahu bahwa Wikipedia tidak akurat, dan saya berkali-kali menemukan isi yang menyesatkan jika referensinya tidak diperiksa langsung
  • Ini semua dengan asumsi komputer atau smartphone masih ada. Mencetak dan menyimpan Wikipedia atau beberapa buku bisa jadi cadangan yang lebih aman. Namun kalau masyarakat benar-benar harus di-boot ulang, mungkin juga ada artinya memulai dengan cara yang sama sekali berbeda
  • Menurut saya kombinasi Wikipedia offline, sumber informasi lain, dan LLM lokal adalah yang terbaik. Akan lebih bagus lagi kalau LLM memberi jawaban ringkas dan tautan yang relevan. LLM dengan fitur pencarian sering terlalu bertele-tele dalam penjelasannya; akan lebih baik kalau ia memberi lebih banyak tautan agar kita bisa langsung menuju informasi yang diinginkan
• Ungkapan “me-reboot masyarakat dengan satu USB stick” itu hanya celetukan saat wawancara, dan saya tidak menyangka akan dimasukkan ke artikel tautan artikel. Banyak orang bilang lebih masuk akal memasukkan Wikipedia ke USB, dan saya setuju. Dump Wikipedia berupa MySQL, jadi sepertinya akan lebih praktis kalau dikonversi ke SQLite dan memakai FTS. USB berkapasitas lebih dari 1TB juga mudah didapat, jadi kekhawatiran soal ruang penyimpanan nyaris tidak ada
  • Rasanya mungkin saja ada yang mendirikan perusahaan yang menjual USB stick berisi pengetahuan seperti ini. Jika dilengkapi kotak pelindung dari denyut elektromagnetik, itu bisa sangat membantu dalam bencana nyata. Menurut saya, yang paling layak diprioritaskan untuk dilestarikan adalah informasi tentang risiko bencana skala besar. Karena masalah hak cipta, buku seperti ‘Global Catastrophic Risks’ mungkin tidak bisa dimasukkan, tetapi halaman web terkait dan sejenisnya mungkin bisa di-crawl
  • Selama lebih dari 10 tahun saya membawa dump Wikipedia lokal di ponsel atau PDA saya (dalam 5 tahun terakhir bahkan termasuk gambar). Itu sering berguna bukan cuma untuk persiapan bencana, tetapi juga untuk penggunaan offline biasa. Belakangan ini model seperti LLM benar-benar jadi berguna, jadi saya berharap ada sinergi jika model lokal digabungkan dengan Wikipedia dalam bentuk RAG
  • Mengutip ulang komentar lama: semua buku yang sudah didigitalkan sekitar 30TB, atau sekitar 5,5TB jika dikompresi, sehingga muat di 3 kartu microSD 2TB. Dengan kira-kira 750 dolar, semuanya bisa dibawa-bawa
  • Tidak perlu repot pakai SQL, cukup gunakan Kiwix
  • Agak mengganggu bahwa artikelnya dibuka dengan nada yang terlalu bombastis. Rasanya wartawan selalu membingkai alat seperti ini terlalu megah; ada kesan yang aneh
• Saya baru saja mulai mengunduh wikipedia_en_all_maxi_2024-01.zim, lalu ingin mengekstrak halamannya dengan libzim dan menghubungkannya ke LLM. File zim menyimpan halaman dalam HTML dan ukurannya sekitar 100GB. Alasannya, saya ingin mencocokkan daftar game yang tersimpan massal di HDD saya (hanya judul, tanpa kategori terpisah) dengan artikel Wikipedia untuk menyusunnya berdasarkan genre atau informasi lain. Dari percobaan saya, LLM (Mistral Small 3.2 quantized) ternyata sangat bagus dalam merapikan kekacauan seperti itu. Ia juga bisa dijalankan cepat dari skrip kustom dengan llama.cpp
  • Sebenarnya pekerjaan menghubungkan game ke wiki seperti ini jauh lebih mudah dengan kueri Wikidata. Bahkan bisa mencakup game yang belum ada di Wikipedia bahasa Inggris
  • Pengalaman teknis seperti inilah alasan utama saya membaca HN. Rasanya segar melihat seseorang membagikan sesuatu yang ia pikirkan dan bangun sendiri dengan detail yang memadai. Saya juga sedang mencoba membuat LLM sendiri, dan ini pertama kalinya saya melihat contoh penggunaan yang benar-benar berguna seperti ini, jadi rasanya saya harus belajar lebih banyak. Terima kasih untuk informasinya
• Dump Wikipedia, dump arXiv, dan kode open source sebagian besar berisi kode yang bisa dijalankan serta informasi yang cukup tepercaya, murah, dan mudah dicari. Aplikasi FOSS bisa langsung dipakai, dan wiki membantu memperkenalkan atau merangkum topik. Sebaliknya, LLM—terutama model kecil—sering mengarang hasil, tetapi tetap berusaha menjawab pertanyaan yang tidak rapi, dan (kadang-kadang) bisa membaca lalu merangkum sendiri bahan mentah yang sangat besar. Dalam pekerjaan offline, saya merasa yang terbaik adalah memanfaatkan pustaka yang memang sudah ada semaksimal mungkin. Saya juga bisa membayangkan contoh penggunaan nyata LLM sebagai asisten coding, walau saya sendiri belum pernah memakai model lokal. Katanya di benchmark, Qwen3 32B cukup membantu untuk coding, jadi mungkin suatu saat bisa berguna
• Salah satu kekuatan LLM yang jarang dibahas adalah pemanfaatan pengetahuan lintas bahasa. Wikipedia bahasa Inggris memang punya banyak isi, tetapi bahasa lain tidak selalu demikian. Bahkan kadang ada informasi yang tidak ada di Wikipedia Inggris tetapi ada di wiki bahasa lain. LLM bisa menyatukan semua itu dan membuatnya dapat diakses dalam berbagai bahasa
• Perusahaan AI telah menyuling seluruh web ke dalam LLM untuk membuat komputer pintar, jadi saya penasaran kenapa manusia tidak bisa memasukkan juga bagian yang berhak cipta untuk membuat Wikipedia baru yang jauh lebih unggul. Saya juga bertanya-tanya kenapa anak-anak tidak bisa membuat hal seperti itu lebih baik daripada perusahaan AI
  • Sebenarnya itulah yang selama ini kita lakukan, hanya saja sekarang ensiklopedia juga sudah tidak laku
  • Itulah perpustakaan
• Saya ingin menyebut Wikipedia Monthly, yaitu dump bulanan Wikipedia: total 205GB untuk 341 bahasa, dan bahasa Inggris saja 24GB. Isinya dikonversi dari markup MediaWiki menjadi teks bersih, sehingga cocok untuk pengindeksan lokal atau berbagai pemanfaatan lain. Menurut saya, Simple English Wikipedia terlalu dangkal dan kurang akurat, tautan blog Wikipedia Monthly
• Dalam diskusi soal kegunaan LLM, yang selalu terasa kurang adalah contoh pemakaian konkret per situasi. Sebelum LLM muncul, ada standar ketat dan set evaluasi dalam pencarian informasi serta machine learning. Tetapi sekarang, walau LLM sudah menjadi lebih serbaguna dan bisa menyelesaikan beragam tugas, tetap terasa aneh bahwa belum ada lebih banyak benchmark nyata yang membandingkan LLM dengan metode lain. Mungkin saya saja yang tidak melihatnya karena kurang mengikuti perkembangan riset
• Ada banyak kontroversi soal LLM yang memberi informasi tidak akurat, tetapi untuk ‘database kueri informasi kiamat’ yang ideal, menurut saya kombinasi LLM + arsip file adalah yang terbaik. Tahap 1: LLM memahami pertanyaan manusia yang ambigu dan memberikan daftar tautan ke konsep inti serta dokumen terkait seperti artikel wiki. Tahap 2: pengguna memeriksa sendiri informasi yang lebih tepercaya langsung dari dokumen yang diberikan
  • Bahkan saya yang sangat pesimistis pun merasa LLM bisa dipakai dengan baik sebagai alat untuk menerjemahkan tulisan manusia menjadi kata kunci pencarian. Menurut saya idealnya ia dipakai sebagai penasihat atau tutor, bukan perantara. Pada akhirnya, yang penting adalah pengguna melampaui keterbatasannya
• Model dengan nama seperti “$1-distill-$2” (kadang tanpa “-distill”) adalah hasil “knowledge distillation”, yaitu melatih model $2 memakai keluaran dari $1, jadi bertentangan dengan namanya, itu bukan $1 itu sendiri. Model seperti “Deepseek-R1 1.5B” yang disebut di artikel sebenarnya tidak ada dalam bentuk itu; maksudnya adalah model hasil proses seperti ini