Ini adalah server API Rust yang melakukan scraping halaman web dan mengekstrak data terstruktur dengan LLM.
Fitur utama:
- Mendukung rendering JavaScript berbasis Headless Chrome
- Analisis hasil scraping secara langsung melalui integrasi Gemini API
- Respons terstruktur berbasis JSON Schema
- Menangani 50 permintaan simultan dengan tab pooling
- Fitur keamanan bawaan seperti pencegahan SSRF dan perbandingan API key waktu konstan
Contoh penggunaan:
Jika Anda mengirim URL dan prompt analisis ke POST /scrape,
server akan mengembalikan isi halaman dan hasil analisis LLM dalam format JSON.
Dibuat sebagai alternatif self-hosted untuk layanan seperti JinaAI dan Firecrawl.
Jika hanya membutuhkan scraping, dapat digunakan tanpa LLM juga.
Belum ada komentar.