Flat Data - Menggunakan GitHub sebagai alat dan repositori ETL data

 (octo.github.com)
9 poin oleh xguru 2021-05-20 | 1 komentar | Bagikan ke WhatsApp
  • Proyek yang membantu memudahkan pengembangan aplikasi ringan berbasis data dengan memanfaatkan teknik Git Scraping

→ Membangun dan menggunakan Data ETL tanpa infrastruktur sendiri

  • Terdiri dari 3 komponen

→ Flat Action: GitHub Action untuk mengambil/mengubah data

→ Flat Editor: GUI untuk mengedit Flat Data Workflow (ekstensi VS Code)

→ Flat Viewer: situs web untuk melihat, memfilter, dan membagikan Flatfile yang disimpan di repo

Cara menggunakan Flat Data

  1. Mengambil data dengan HTTP atau SQL Query (MySQL, Postgres, SQLite, MongoDB, dll.) menggunakan Flat Action

→ Mengambil hal seperti harga saham/koin, Excel ke CSV, dashboard COVID, lalu menyimpannya di repo GitHub, dll.

  1. Transformasi data

→ Melakukan postprocess dengan GitHub Action lalu menyimpannya sebagai file baru

  1. Visualisasi data

→ Menyediakan alat GUI yang menampilkan data cukup dengan menambahkan flat ke alamat GitHub mana pun: https://flatgithub.com/the-pudding/data

Alasan membuat Flat Data

  • Untuk memanfaatkan data biasanya dibutuhkan sistem terdistribusi dan infrastruktur besar

  • Agar developer bisa lebih mudah mengakses data seperti ini, proyek ini membantu pekerjaan akuisisi/pembersihan data dilakukan dengan GitHub Actions

  • Menyimpan data di repo tanpa perlu memahami dependensi, library, package manager, infrastruktur, dan hal-hal kompleks lainnya

  • Proyek ini adalah eksperimen yang dijalankan oleh tim developer experience GitHub OCTO (Office of the CTO), bukan produk resmi GitHub. Lisensi MIT

Bacaan terkait

1 komentar

 
xguru 2021-05-20

Teknik Git Scraping buatan Simon Willison tampaknya diadopsi oleh GitHub lalu dijadikan produk yang sangat bagus ya

Simon juga terkenal karena tip menyimpan TIL (Today I Learned) ke indeks GitHub.