Crawlee - Library web scraping & otomatisasi browser
(crawlee.dev)- Library untuk membuat crawler yang cepat dan andal untuk Node.js
- Puppeteer & Playwright (crawling browser headless) + CheerIO/JSDOM (crawling HTTP mentah)
- Meniru header browser & fingerprint TLS agar terlihat seperti trafik nyata
- Otomatisasi rotasi proxy sehingga dapat diskalakan secara besar
- Pekerjaan diproses melalui antrean, dan file, screenshot, hasil JSON, dan lainnya dapat dengan mudah disimpan ke file atau DB
Belum ada komentar.