Menggunakan SQLite sebagai Format File Aplikasi

• File database SQLite adalah format berbasis satu file yang cocok untuk menyimpan atau bertukar status aplikasi
• Dibanding format kustom, kumpulan file (pile-of-files), dan format berbasis ZIP yang sudah ada, format ini lebih terstruktur dan dapat didefinisikan dengan jelas lewat skema SQL
• Melalui transaksi, indeks, dan bahasa kueri tingkat tinggi, SQLite memastikan aksesibilitas dan keandalan data, serta mendukung pembaruan inkremental dan akses multi-proses
• Kompatibilitas lintas platform, skalabilitas, kinerja, dan antarmuka untuk berbagai bahasa meningkatkan efisiensi pengembangan dan kemudahan pemeliharaan
• Dengan struktur data yang jelas dan desain berbasis skema, SQLite membantu mewujudkan kualitas aplikasi yang lebih baik dan ketahanan pelestarian data jangka panjang

---

Konsep format file aplikasi

• Format file aplikasi adalah struktur file untuk menyimpan status program ke disk atau bertukar informasi antarprogram
  • Contoh: DOC, DWG, PDF, XLS, GIT, EPUB, ODT, PPT, ODP
• Format file (file format) menyimpan satu objek tunggal (misalnya JPEG, GIF, XHTML), sedangkan format aplikasi (application format) menyimpan banyak objek beserta relasinya
• Sebagian besar format aplikasi dapat diklasifikasikan ke dalam tiga jenis
  • Format kustom: struktur biner khusus aplikasi tertentu seperti DOC, DWG, PDF, yang tidak dapat diakses dengan alat eksternal
  • Kumpulan file (pile-of-files): struktur yang terdiri dari banyak file seperti Git; sebagian mudah dibaca, tetapi sulit dikelola dalam hal portabilitas dan konsistensi
  • Format berbasis ZIP (wrapped pile-of-files): bentuk kumpulan file yang dikompresi dengan ZIP seperti EPUB, ODT, ODP; berupa satu file, tetapi saat dimodifikasi seluruhnya perlu ditulis ulang

SQLite sebagai format file aplikasi baru

• Database SQLite bahkan dengan skema key/value sederhana (CREATE TABLE files(filename TEXT PRIMARY KEY, content BLOB);) pun dapat menggantikan struktur kumpulan file
  • Saat dikompresi, perbedaan ukuran berada dalam kisaran ±1% dibanding arsip ZIP
  • File dapat dimodifikasi per item tanpa perlu menulis ulang seluruh isi
• SQLite dapat memuat banyak tabel, field, tipe data, constraint, dan indeks sehingga mampu merepresentasikan relasi data yang kompleks secara efisien
• Ia memiliki daya ekspresif setara format kustom, tetapi spesifikasi dan jumlah kode jauh lebih ringkas, serta dapat diakses tanpa alat khusus

Keunggulan utama format SQLite

• 1. Penyederhanaan pengembangan

  • Cukup menyertakan library SQLite atau satu file sumber (sqlite3.c) untuk mendapatkan kemampuan input/output file secara lengkap
  • Mengurangi ribuan baris kode dan menekan biaya pemeliharaan
  • Puluhan miliar file SQLite digunakan di seluruh dunia, dengan stabilitas yang telah diuji secara menyeluruh

• 2. Struktur dokumen satu file

  • Semua data disimpan dalam satu file, sehingga mudah dipindahkan, disalin, atau dilampirkan
  • Jenis dokumen dapat diidentifikasi melalui Application ID pada header file

• 3. Bahasa kueri tingkat tinggi

  • Dengan SQL, logika akses data menjadi lebih sederhana, dan pengembang hanya perlu mendefinisikan apa yang ingin diminta
  • Dibanding file berbasis key/value, dukungan transaksi, indeks, dan skema mengurangi kemungkinan kesalahan

• 4. Konten yang mudah diakses

  • File SQLite adalah format terbuka yang terdokumentasi dengan jelas, dan dapat diakses langsung melalui alat baris perintah
  • Library of Congress Amerika Serikat merekomendasikannya sebagai format pelestarian digital jangka panjang
  • Kompatibilitas mundur dipertahankan sejak 2004, menjamin akses jangka panjang

• 5. Kompatibilitas lintas platform

  • Sepenuhnya kompatibel di lingkungan 32/64-bit, perbedaan endian, dan antara keluarga Windows/Unix
  • Teks mendukung konversi otomatis UTF-8, UTF-16LE/BE

• 6. Transaksi atomik

  • Bahkan saat terjadi kegagalan sistem atau listrik padam, SQLite menjamin penulisan lengkap tanpa kerusakan data
  • Perubahan dapat dikelompokkan sehingga rollback dan verifikasi dimungkinkan; Fossil DVCS memanfaatkan fitur ini

• 7. Pembaruan inkremental dan berkelanjutan

  • Hanya bagian yang berubah yang ditulis ke disk, sehingga meningkatkan kecepatan dan mengurangi keausan SSD
  • Memungkinkan autosave serta mempertahankan stack undo/redo antar-sesi

• 8. Ekstensibilitas yang mudah

  • Fitur dapat diperluas hanya dengan menambahkan tabel atau kolom baru, sambil mempertahankan kompatibilitas kueri yang ada
  • Perubahan struktur jauh lebih mudah dibanding format kustom

• 9. Kinerja

  • Lebih cepat dibaca/ditulis dibanding kumpulan file, terutama unggul dalam menangani BLOB di bawah 100KB
  • Peningkatan kinerja dimungkinkan hanya dengan menambahkan indeks atau menjalankan ANALYZE
  • Pada format kustom, penyelesaian masalah yang sama memerlukan perubahan kode

• 10. Akses bersamaan multi-proses

  • SQLite secara otomatis mengoordinasikan akses serentak
  • Banyak proses dapat membaca secara bersamaan, sementara penulisan diproses secara berurutan
  • Kerusakan format dicegah secara otomatis

• 11. Dukungan untuk berbagai bahasa pemrograman

  • Menyediakan antarmuka untuk sebagian besar bahasa seperti C, C++, C#, Java, Python, Ruby, JavaScript, dan lainnya
  • Banyak bahasa dan tim dapat berkolaborasi menggunakan skema yang sama

• 12. Struktur aplikasi yang lebih baik

  • Skema SQLite sendiri berperan sebagai dokumentasi lengkap format file
  • Format kustom memerlukan spesifikasi hingga ratusan halaman, sedangkan skema SQL ringkas dan jelas
  • Kutipan dari Fred Brooks, Rob Pike, dan Linus Torvalds menekankan pentingnya desain yang berpusat pada struktur data

Kesimpulan

• SQLite memang tidak sempurna untuk semua situasi, tetapi merupakan pilihan yang lebih baik daripada format kustom, kumpulan file, atau format ZIP di sebagian besar aplikasi
• Sebagai format file tingkat tinggi yang memiliki keandalan, skalabilitas, kinerja, aksesibilitas, dan kompatibilitas,
  SQLite layak dipertimbangkan sebagai kandidat format file standar dalam perancangan aplikasi generasi berikutnya

[GN⁺]

Komentar Hacker News

• Dulu di Mapbox pernah membuat format MBTiles
  Saat itu mereka sedang meneliti peta offline untuk iPad, dan memindahkan begitu banyak tile PNG kecil (256px) lewat USB atau jaringan terasa sangat merepotkan
  Jadi tile-tile itu dibundel dan disimpan di SQLite, sehingga lebih mudah dipindahkan dan pengelolaan checksum juga jadi sederhana
  Tile diindeks dengan X, Y, Z (level zoom) sehingga mudah ditangani di DB relasional, dan di iPad bahkan bisa diberi ikon aplikasi dengan memanfaatkan ekstensi file dan metadata
  Membuat format file sendiri terasa menakutkan, tetapi karena sudah akrab dengan DB, mereka bisa membuat alat CLI agar mudah dipakai dari berbagai bahasa
  • Pernah membandingkan .zip, .tar, sqlite, dan file system, dan sqlite punya rasio kompresi terbaik serta overhead paling kecil
  • Benar-benar suka sekali dengan format MBTiles, terima kasih sudah membuatnya
• SQLite benar-benar luar biasa sebagai format aplikasi
  Sangat banyak alat yang bisa membaca data SQLite, dan hanya dengan CLI pun pekerjaan data jadi sangat praktis
  Sudah ada lebih dari 20 tahun dan merupakan salah satu perangkat lunak yang paling banyak diuji di dunia
  Sederhana namun kuat dan sangat andal, jadi untuk preservasi data jangka panjang, memakai SQLite sebagai format file terasa seperti pilihan terbaik
• Saya juga menggunakan SQLite dengan cara yang mirip
  Dalam proyek Internet-Places-Database, mereka memakai UI HTML, dan berkat komponen Bootstrap siapa pun bisa mengaksesnya tanpa instalasi terpisah
  Semua data dibaca dan dikembalikan dari satu file SQLite
  DB-nya besar sehingga penjelajahan agak lambat, tetapi mereka sedang memikirkan cara penjelajahan yang efisien untuk membatasi ruang pencarian
• Dulu saya pernah memakai SQLite saat membuat aplikasi blogging desktop
  Setelah membuat struktur dasar blog, file itu bisa dikirim ke keluarga, lalu mereka tinggal menulis dan menerbitkan postingan
  Detail terkait dirangkum dalam postingan blog ini
• Sebagian besar format file aplikasi berbentuk struktur pohon, tetapi jika datanya berupa tabel datar, SQLite adalah pilihan yang jelas
  Jika strukturnya pohon, JSON juga bisa disimpan sebagai blob, tetapi dalam kasus itu manfaatnya berkurang
  Namun jika ada gambar atau data biner bersama-sama, SQLite jauh lebih unggul — lebih mudah ditangani daripada ZIP
  • Meski tidak terbiasa dengan normalisasi basis data, meratakan struktur pohon menjadi relasi foreign key bukan hal yang sulit
    SQLite juga mendukung kueri rekursif, sehingga data yang mereferensikan dirinya sendiri pun bisa diekspresikan dengan rapi
    Memasukkan JSON blob ke field TEXT memang sederhana, tetapi itu membuat kita kehilangan keunggulan SQL seperti migrasi dan indeksasi
  • Inti penyimpanan relasional adalah memungkinkan data diekstrak dari berbagai sudut pandang, bukan dilihat hanya sebagai satu dokumen
    Sebagian besar data tampak hierarkis di permukaan, tetapi jika dipotong dari beberapa sisi akan menjadi struktur relasional
    Hanya saja, tipe relasional belum terwakili dengan baik dalam bahasa pemrograman, dan itu agak disayangkan
  • Karena membutuhkan antarmuka untuk memberi anotasi pada data JSON, mereka meminta Codex membuatkan web server berbasis SQLite dan itu cepat sekali selesai
    SQLite juga mendukung kueri terhadap objek mirip JSON
    Hanya saja CLI-nya terlalu minimalis, jadi rasanya seharusnya memakai alat yang lebih baik
  • Di SQLite, kita bisa membuat banyak tabel dan menetapkan relasi referensi
    Bahkan referensi rekursif pun dimungkinkan
• Dulu pernah ada diskusi terkait — thread sebelumnya
• Saya juga menerapkan pendekatan serupa dalam pekerjaan saya
  Dengan DuckDB, file output dari model hierarkis dikumpulkan menjadi satu file yang bisa di-query dengan SQL, sehingga pipeline penyimpanan dan analisis menjadi lebih sederhana
  Jika preservasi data jangka panjang penting, SQLite tampaknya akan sangat ideal
  • Saya rasa para pengembang juga membuat Fossil SCM dengan ide yang sama
• Tim kami memakai SQLite saat memindahkan konfigurasi dari lingkungan UAT ke lingkungan produksi
  Karena konfigurasi sudah tersimpan di tabel Postgres, sebagian konfigurasi bisa dipindahkan ke file SQLite dan dideploy dengan sederhana
  Karena ini format biner, risiko perubahan tidak sengaja juga berkurang
  Sebaliknya, saat mengekspor data produksi untuk pengujian, itu juga bisa dengan mudah dienkode menjadi file SQLite
• Saya ingat waktu kecil pernah membuka file game atau program dengan WinRAR untuk mencari resource tersembunyi
• Saya benar-benar sudah diyakinkan
  Saya selalu penasaran bagaimana orang bisa begitu pandai menjual ide atau produk