Datasette Cloud: Platform Hosting SaaS untuk Datasette
(datasette.cloud)- Datasette Cloud meng-host Datasette open source sebagai SaaS untuk tim, sehingga data dapat dibagikan di ruang privat dan hanya data yang diperlukan saja yang dapat dipublikasikan ke luar
- Fokus awalnya adalah ruang redaksi, untuk membantu jurnalis mendistribusikan data ke tim internal dan publik tanpa harus menyiapkan atau mengoperasikan server sendiri
- Setiap tim dapat membuat space privat di region terdekat, serta mendapatkan kontainer aman berbasis Fly.io dan subdomain
space-name.datasette.cloud - Data dapat diimpor dari CSV, URL, data terbuka pemerintah berbasis Socrata, file SQLite, dan Datasette Write JSON API, lalu bisa langsung diedit di web UI
- Ke depannya akan ditambahkan kueri berbantuan AI, publikasi tabel/kueri terpilih, anotasi data, serta penetapan harga; saat ini pengguna bisa memulai dengan menjadwalkan demo Zoom atau meminta akses pratinjau
Ruang kolaborasi data privat untuk tim
- Datasette Cloud adalah platform hosting SaaS untuk proyek open source Datasette
- Tim dapat membuat space privat untuk menangani data, membagikannya dengan aman di antara anggota, lalu membuka sebagian data ke pihak luar
- Pengguna awalnya difokuskan pada ruang redaksi
- Datasette berawal dari jurnalisme data
- Tujuannya adalah memungkinkan jurnalis berbagi data tanpa harus menyiapkan dan mengoperasikan Datasette sendiri di penyedia hosting mereka
- Perusahaan dan organisasi di luar kalangan jurnalis juga dapat menggunakan Datasette Cloud
- Pengguna yang baru mengenal Datasette dapat melihat demo video dan tutorial di situs web proyek open source
Impor data dan cara akses
- Setiap space di-host di region terdekat dengan pengguna dan berjalan di kontainer aman terisolasi berbasis Fly.io
- Setiap space memiliki subdomain
space-name.datasette.cloud - Admin space dapat mengundang anggota tambahan
- Setiap space memiliki subdomain
- Anggota tim dapat mengimpor data melalui beberapa jalur
- Membuat tabel dengan mengunggah file CSV
- Memuat file CSV dari URL
- Mengimpor dari portal data terbuka pemerintah berbasis Socrata
- Membuat database baru dengan mengunggah file database SQLite
- Mengimpor data menggunakan Datasette Write JSON API
- Data yang diimpor dapat diedit secara inline di antarmuka web Datasette Cloud
- Fitur edit, sisip, dan hapus baris dirangkum dalam pengenalan datasette-write-ui
- Eksplorasi data dan akses API memanfaatkan alat yang sudah ada di Datasette
- Antarmuka web Datasette yang mendukung pemfilteran, facet, menjalankan kueri SQL, dan bookmark hasil
- Tutorial dan demo live tersedia di Exploring a database with Datasette
- Learn SQL with Datasette menjelaskan cara mengueri data dengan SQL
- Akses tabel dan menjalankan kueri SQL dimungkinkan melalui JSON API yang dilindungi token API granular
- Data tabular dapat diakses melalui GraphQL API berbasis plugin datasette-graphql
- Semua data disimpan dengan aman di Fly volumes dan juga dicadangkan ke S3 menggunakan Litestream
Fitur yang direncanakan dan cara memulai
- Fitur berikut akan segera ditambahkan
- Kueri berbantuan AI: sedang diteliti bagaimana menerapkan model bahasa besar—teknologi dasar di balik OpenAI ChatGPT, Anthropic Claude, dan Google Bard—secara bertanggung jawab untuk eksplorasi data jurnalis; detailnya dapat dilihat di llm.datasette.io
- Fitur untuk memublikasikan tabel dan kueri terpilih ke publik
- Anotasi data yang membantu tim menambahkan komentar pada kolom dan baris untuk kolaborasi analisis data serta menemukan cerita di balik data
- Penetapan harga agar pengguna dapat membayar biaya produk
- Pengguna dapat menjadwalkan sesi demo Zoom untuk menjadi salah satu pengguna awal, atau meminta akses pratinjau tanpa demo
1 komentar
Komentar Hacker News
Kami berhasil meng-host banyak data riset (100MB~20GB) yang terlalu besar untuk dibagikan kepada pengguna umum atau dikonsumsi langsung, dengan men-deploy Datasette secara internal
Dulu, kami harus hanya membagikan ringkasan tingkat sangat tinggi dan beberapa titik data, membuat aplikasi Django minimal, atau memakai solusi yang jauh lebih berat seperti Metabase
Untuk data ukuran menengah, hasilnya tidak bisa dikirim lewat email, cara yang akrab bagi klien seperti network share atau SharePoint juga punya batasan, dan pengguna biasa umumnya hanya bisa memakai Excel, jadi begitu datanya besar mereka langsung mentok
Sekarang kami bisa menyediakan hampir semua data yang sudah diproses sampai tingkat tertentu, lalu cukup memberi beberapa view dan tutorial kurang dari 5 menit (“ini Super Excel, dan begini cara memfilternya”), pengguna bisa menjelajah sendiri
Setelah deployment pertama, dari log terlihat bahwa meski ini riset biasa, pengguna benar-benar banyak mengutak-atik sistem, dan itu membuat kami berpikir betapa banyaknya pertanyaan detail yang dulu tidak pernah mereka ajukan karena tidak ingin merepotkan. Setelah Datasette, pertanyaan menjadi jauh lebih canggih karena hal-hal dasar sudah mereka selesaikan sendiri
Saya terutama suka ungkapan “ini Super Excel, dan begini cara memfilternya”
Saya sudah beberapa kali mendengar nama Datasette, tetapi belum pernah benar-benar mencari tahu untuk apa dipakai
Video di landing page menjelaskannya dengan sangat baik, dan kasus seperti ini jarang terjadi
Selamat untuk Simon dan seluruh proyeknya, semoga layanan cloud-nya juga sukses
Datasette adalah proyek terbuka dari Simon Willison, yang cukup dikenal di HN, dan yang ini tampaknya seperti proyek monetisasi. Semoga berhasil, dan semoga segera diakuisisi Softbank :-)
Ini lebih mirip alat yang membungkus file SQLite agar mudah dipublikasikan, mungkin terasa seperti Tableau untuk SQLite
Datasette adalah proyek pertama sepanjang karier saya yang rasanya tidak akan membuat saya bosan meski saya masih terus mengerjakannya 15 tahun lagi. Rentang aplikasi menarik yang bisa dibuat dari ide intinya benar-benar luas
Jadi saya ingin mengerjakannya selama puluhan tahun, tetapi bekerja sendirian itu sepi, dan meski komunitas makin besar dan menyenangkan, itu tetap berbeda dari tim purnawaktu
Masalah yang ingin saya pecahkan sekarang adalah bagaimana membuat proyek ini berkelanjutan secara finansial dalam jangka panjang. Bukan hanya untuk saya sendiri, tetapi juga agar bisa menggaji tim yang bekerja bersama saya
Sudah ada banyak contoh proyek open source seperti WordPress atau GitLab yang membuat model bisnis berkelanjutan melalui hosting SaaS, dan rasanya ini jalur yang relatif sudah terbukti
Saya juga ingin orang-orang benar-benar bisa memakai perangkat lunak saya. Saat ini, jika individu ingin memakai Datasette, mereka harus menginstalnya dengan
pipataubrew, atau memakai aplikasi macOS Electron https://datasette.io/desktop, tetapi saya ingin newsroom bisa memakainya untuk berkolaborasi dengan data. Sebagian besar newsroom tidak terbiasa menyiapkan server LinuxVersi SaaS hosting membantu pengguna yang penting bagi saya mendapatkan nilai nyata, sekaligus memberi jalur realistis menuju keberlanjutan finansial seluruh proyek
Tentu saja, saya juga ingin menghasilkan banyak uang dari ini
Saat ini UX dan konfigurasinya terasa lebih ditujukan untuk data hacker yang tertarik pada peliputan, dan belum terlalu terlihat sebagai alat standar untuk pelaporan data atau jurnalisme data
Jika pengguna yang dituju adalah jurnalis yang mungkin tidak punya kemampuan data hacking, hambatan untuk memulai harus lebih diturunkan
Datasette bukan alat BI dan bukan alat OSINT; saat ini posisinya berada di ceruk yang sangat sempit antara penggemar data dan jurnalis investigasi, sehingga potensinya sangat terbatas
Simon sebaiknya mempertimbangkan monetisasi, terutama merekrut orang yang bisa membuat Datasette Cloud lebih mudah diakses. Membuat aplikasi GUI tampaknya langkah ke arah yang benar
Bukan bermaksud merusak suasana, tapi setelah menonton seluruh video pengenalan Datasette, rasanya saya masih melewatkan sesuatu
Bukankah ini pada dasarnya SQL GUI? Hampir sama dengan panel manajemen SQL lain, hanya saja tanpa fitur tulis
Saya penasaran apa pembeda utamanya, apakah extensibility-nya
Ada tak terhitung proses bisnis penting yang dirangkai paksa dengan Excel dan Access, dan Datasette bisa menjadi pilihan yang jauh lebih baik untuk penggunaan seperti itu. Ini alat yang bisa dipakai baik oleh developer maupun staf bisnis
Masalah yang paling baik diselesaikan Datasette adalah menerbitkan data terstruktur secara online
Misalnya, jika ingin membagikan daftar pembangkit listrik di seluruh dunia atau seluruh riwayat Kongres AS secara online, Anda bisa mengunggah CSV ke situs web/GitHub/S3, membuat aplikasi kustom seperti Django/Rails, atau memakai Google Sheet. Cara yang dulu dipakai Guardian dengan Google Sheet ada di https://simonwillison.net/2018/Aug/19/instantly-publish-data...
Datasette awalnya dibuat untuk menyelesaikan masalah ini, dan saya melihat SQLite sangat sempurna untuk itu. Cepat dan tangguh, dan jika menerbitkan data read-only, Anda bisa men-deploy-nya ke mana pun yang dapat meng-host aplikasi web dinamis tanpa perlu khawatir soal backup atau replikasi
Contoh pembangkit listrik dunia ada di https://global-power-plants.datasettes.com/global-power-plan..., dan data anggota Kongres AS ada di https://congress-legislators.datasettes.com/legislators. Yang terakhir juga digunakan dalam tutorial Datasette https://datasette.io/tutorials/explore
Jika terbiasa dengan command line, akan sulit menemukan cara yang lebih cepat daripada memasukkan CSV ke SQLite dan merapikannya dengan
sqlite-utils, lalu menerbitkannya dengandatasette publish verceldan plugindatasette-cluster-mapIni contoh penggunaan plugin
datasette-publish-vercel, tetapi Datasette juga bisa menerbitkan ke Fly, Google Cloud Run, Heroku, dan lainnya lewat plugin tambahan: https://docs.datasette.io/en/stable/publish.htmlBagian merapikan data dengan
sqlite-utilsdijelaskan lebih detail di https://datasette.io/tutorials/clean-dataSelama 5 tahun terakhir, Datasette telah berkembang melampaui penerbitan, menjadi alat yang saya pakai setiap kali ingin melihat-lihat dan mengeksplorasi data. Dari perspektif jurnalisme data, ini setara dengan “menemukan cerita dari data”
Dalam penggunaan komersial pun, saya punya intuisi kuat bahwa jika alat ini bisa membantu jurnalis menemukan cerita dari data, maka alat ini juga bisa membantu semua orang menemukan cerita dari data mereka sendiri
Satu hal inti lainnya adalah plugin. Seperti WordPress yang merupakan CMS bagus sekaligus, dengan lebih dari 10.000 plugin, mampu menangani hampir semua masalah penerbitan konten dan akhirnya menguasai persentase dua digit dari web, bentuk paling ambisius Datasette juga mirip seperti itu
Saya ingin membuat alat open source untuk exploratory data analysis (EDA) dan penerbitan, dan memungkinkan ribuan plugin menyelesaikan masalah eksplorasi, analisis, visualisasi, dan penerbitan data
Saat ini pluginnya baru 127, jadi perjalanan masih panjang, tetapi ini awal yang bagus: https://datasette.io/plugins
Jika diringkas menjadi satu kalimat, bisa dibilang “Datasette adalah cara tercepat untuk menerbitkan data secara online sebagai database yang interaktif dan dapat dicari”, atau “WordPress untuk data: platform open source yang extensible untuk eksplorasi, analisis, visualisasi, dan penerbitan”
Simon, ini terlihat sangat bagus dan semoga sukses
Selama beberapa tahun terakhir saya sudah membuat banyak hal keren dengan Datasette dan sangat merekomendasikannya. Saya juga pasti akan mencoba datasette.cloud
Datasette luar biasa
Di kantor sebelumnya, saya pernah membuat cara agak dipaksakan untuk men-deploy Datasette ke Azure cloud internal agar bisa cepat membagikan hasil query SQL yang kompleks, jadi senang melihat Simon sendiri meluncurkan
.cloudSetelah mengenal Simon lewat podcast Latent Space, selama beberapa minggu ini saya membaca blognya dan menonton berbagai video YouTube-nya
Sebagai mantan jurnalis, saya ingin belajar jurnalisme data, dan mungkin akan mencobanya begitu ini dibuka
Simon sudah tiga kali tampil di podcast kami: https://latent.space/p/llama2, https://latent.space/p/code-interpreter, https://latent.space/p/no-moat
Menyenangkan karena ia bisa langsung bergabung dari rumah, taman, dan sebagainya tanpa perlu mengatur jadwal studio
Simon baru-baru ini mengunggah tutorial berdurasi 2 jam: https://www.youtube.com/watch?v=5TdIxxBPUSI
Menarik melihat jurnalisme data kini berevolusi menjadi bentuk mengunggah CSV ke cloud
Dulu, topik paling panas di konvensi I.R.E. adalah mempelajari cara mengekstrak dan mendekode data dari pita 9-track
Pada masa-masa awal FOIA, pemerintah sering menghambat peliputan dengan menumpahkan informasi dalam jumlah besar ke reel data 9-track raksasa lalu mengatakan bahwa mereka sudah “memenuhi permintaan”
Hampir tidak ada newsroom yang punya peralatan atau kemampuan teknis seperti itu, jadi mereka harus mencari solusi sendiri atau mencari perusahaan/lembaga yang bisa membantu
I.R.E.: https://www.ire.org/
Jurnalisme data bukan hal baru
Simon adalah teknisi yang hebat
Saya belajar cukup banyak dari video dan tulisannya, dan berharap proyek ini berjalan lancar
Saya sempat mengira ini merujuk ke drive pita C2N Datasette untuk C64, jadi agak kecewa ternyata bukan
https://en.m.wikipedia.org/wiki/Commodore_Datasette
Mungkin sekitar usia 7 tahun, dan sebenarnya tidak banyak yang dikerjakan program itu, tapi namanya jelas merupakan penghormatan ke sana
1: https://youtu.be/1hc52_PWeU8
Saya masih punya 1531 di loteng, diletakkan di samping C16