Git Scraping - Mencatat perubahan web ke Git Repo

 (simonwillison.net)
15 poin oleh xguru 2020-10-12 | 1 komentar | Bagikan ke WhatsApp

  • Mengambil dan mencatat data situs web yang terus berubah menggunakan GitHub Actions, lalu menumpuknya bersama log commit

  • Contoh yang mencatat data terbaru kebakaran hutan California dengan mengambilnya dari California Department of Forestry and Fire Protection

  • Membuat dan menjalankan file workflow YML GitHub Actions sederhana yang mengambil data XHR JSON dengan curl, memisahkannya dengan jq, lalu mencatatnya

  • Diatur agar hanya melakukan commit saat isi berubah, dan dijalankan sekitar 3 kali per jam dengan pengaturan GitHub Cron

  • Penulis sebelumnya juga pernah menerapkan ini pada informasi badai topan dan layanan publik lain, serta telah membuka seluruh catatannya

Bacaan terkait

1 komentar

 
xguru 2020-10-12

Sering kali situs web lembaga pemerintah di dalam negeri belum menyediakan API atau data dalam bentuk terstruktur.

Cara seperti ini sepertinya juga bisa menjadi upaya lain yang menarik.