unclecode/crawl4ai是开源的LLM友好网络爬虫和刮板,7.5万Stars。专为LLM设计,自动将网页内容转换为结构化数据。支持动态渲染、JavaScript执行、反爬虫绕过。输出格式适配各种LLM:Markdown、JSON、结构化schema。比传统爬虫效率提升10倍,是RAG管道的数据采集利器。