Per 2022, apa alat web scraping terbaik?

 (news.ycombinator.com)
39 poin oleh xguru 2022-08-15 | 6 komentar | Bagikan ke WhatsApp

Jawaban-jawaban untuk pertanyaan di HN

  • Playwright : karena semakin banyak halaman web yang membutuhkan eksekusi JS, alat otomasi browser jadi praktis
  • Beautiful Soup : paket Python yang memudahkan pembuatan berbagai aplikasi scraping
  • Di shell, cURL + pup(markup)/cskit(CSV)/jq(JSON)/psql(DB)
  • Browserflow : alat otomasi pekerjaan berbasis peramban web
  • curl-impersonate : versi fork untuk mengambil situs web seperti browser
  • Helium : Selenium-Python yang lebih mudah digunakan
  • undetected_chromedriver : Selenium Chromedriver kustom yang lolos pemeriksaan bot CloudFlare
  • estela : cluster web scraping elastis yang berjalan di Kubernetes

Bacaan terkait

6 komentar

 
yangeok 2022-08-24

Saya dengar setelah tim puppeteer diakuisisi oleh ms, jadinya langsung menjadi playwright.
 
youth 2022-08-15

Tool seperti Playwright dan Scrapy tampaknya bagus karena dipelihara dengan baik oleh pihak pengembangnya.
Secara pribadi, saya cukup sering menggunakan plugin scrapy-playwright.
 
vwjdalsgkv 2022-08-15

Karena tidak terlihat Peppeteer, sepertinya banyak yang sudah beralih ke Playwright.
 
xguru 2022-08-16

Di komentar juga, kebanyakan orang yang benar-benar sudah mencobanya mengatakan bahwa Playwright bagus.
 
jjpark78 2022-08-15

Saya pilih Playwright.
 
cometkim 2022-08-15

Saya sering menggunakan HTMLRewriter dari Cloudflare