Firecrawl - Alat yang Membuat Seluruh Situs Web Dapat Digunakan di LLM

• Merayapi situs web dan mengubahnya menjadi Markdown atau data terstruktur yang dapat digunakan di LLM
• Jika URL dikirim melalui API, semua subhalaman akan dirayapi dan data bersih untuk tiap subhalaman akan disediakan
• Menyediakan SDK Python, Node, Go, dan Rust
• Mendukung integrasi dengan LangChain, Llama Index, Dify, Langflow, Zapier, dan lainnya

[hoonix]

Meskipun tidak mendukung crawling hingga ke level bawah, saya ingin memperkenalkan konverter format dokumen dengan tujuan serupa.
https://github.com/DS4SD/docling

[laeyoung]

Tidak berjalan sesuai yang saya inginkan.