UNCLECODE · 75K STARS · APACHE 2.0
Crawl4AI · LLM友好网络爬虫
LLM-FRIENDLY WEB CRAWLER / STRUCTURED EXTRACTION / RAG PIPELINE
75K+ Stars LLM友好 开源爬虫 结构化提取 网页自动化 数据管道
VISUALIZATION LAB / 可视化实验室

Crawl4AI · LLM友好网络爬虫 · RAG管道的数据采集利器

unclecode/crawl4ai是开源的LLM友好网络爬虫和刮板,7.5万Stars。专为LLM设计,自动将网页内容转换为结构化数据。支持动态渲染、JavaScript执行、反爬虫绕过。输出格式适配各种LLM:Markdown、JSON、结构化schema。比传统爬虫效率提升10倍,是RAG管道的数据采集利器。

GitHub Stars75K+
定位LLM爬虫
许可证Apache 2.0
效率提升10x
模块8
视图24