Flat Data - Menggunakan GitHub sebagai alat dan repositori ETL data

<p>- Proyek yang membantu memudahkan pengembangan aplikasi ringan berbasis data dengan memanfaatkan teknik Git Scraping<br /> → Membangun dan menggunakan Data ETL tanpa infrastruktur sendiri<br /> - Terdiri dari 3 komponen<br /> → Flat Action: GitHub Action untuk mengambil/mengubah data<br /> → Flat Editor: GUI untuk mengedit Flat Data Workflow (ekstensi VS Code)<br /> → Flat Viewer: situs web untuk melihat, memfilter, dan membagikan Flatfile yang disimpan di repo <br /> <br /> Cara menggunakan Flat Data<br /> 1. Mengambil data dengan HTTP atau SQL Query (MySQL, Postgres, SQLite, MongoDB, dll.) menggunakan Flat Action <br /> → Mengambil hal seperti harga saham/koin, Excel ke CSV, dashboard COVID, lalu menyimpannya di repo GitHub, dll.<br /> 2. Transformasi data <br /> → Melakukan postprocess dengan GitHub Action lalu menyimpannya sebagai file baru <br /> 3. Visualisasi data <br /> → Menyediakan alat GUI yang menampilkan data cukup dengan menambahkan `flat` ke alamat GitHub mana pun: https://flatgithub.com/the-pudding/data<br /> <br /> Alasan membuat Flat Data<br /> - Untuk memanfaatkan data biasanya dibutuhkan sistem terdistribusi dan infrastruktur besar <br /> - Agar developer bisa lebih mudah mengakses data seperti ini, proyek ini membantu pekerjaan akuisisi/pembersihan data dilakukan dengan GitHub Actions <br /> - Menyimpan data di repo tanpa perlu memahami dependensi, library, package manager, infrastruktur, dan hal-hal kompleks lainnya<br /> <br /> * Proyek ini adalah eksperimen yang dijalankan oleh tim developer experience GitHub OCTO (Office of the CTO), bukan produk resmi GitHub. Lisensi MIT </p>

[xguru]

<p>Teknik Git Scraping buatan Simon Willison tampaknya diadopsi oleh GitHub lalu dijadikan produk yang sangat bagus ya<br /> - Git Scraping - mencatat perubahan web ke Git Repo https://id.news.hada.io/topic?id=3008<br /> <br /> Simon juga terkenal karena tip menyimpan TIL (Today I Learned) ke indeks GitHub.<br /> - Membuat indeks README TIL secara otomatis dengan GitHub Actions https://id.news.hada.io/topic?id=1936</p&gt;