Parser Robots.txt untuk NodeJS

• Dikembangkan dengan tujuan kompatibel dengan draf Robots Exclusion Protocol milik IETF

• Aturan yang didukung

→ User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host

→ Path: pencocokan wildcard(*) dan EOL($)

[xguru]

• robots.txt di Wikipedia https://id.news.hada.io/topic?id=90