Crawl4AI 简介
Crawl4AI[1] 是一个开源的、为大型语言模型（LLMs）和AI应用设计的网页爬虫和数据提取工具。
它简化了网页爬取和数据提取的过程，使其更加易于访问和使用。
项目特点
主要特点
-
完全免费且开源 -
支持LLM友好的输出格式（JSON、清洁的HTML、markdown） -
支持同时爬取多个URL -
提取并返回所有媒体标签（图片、音频和视频） -
提取所有外部和内部链接 -
从页面提取元数据 -
自定义钩子用于认证、头部和爬取前的页面修改 -
用户代理自定义 -
截取页面屏幕截图 -
执行多个自定义JavaScript脚本 -
多种分块策略：基于主题、正则表达式、句子等 -
高级提取策略：余弦聚类、LLM等 -
支持CSS选择器 -
传递指令/关键词以优化提取
使用场景
Crawl4AI适用于需要从网页中快速提取大量数据的场景，如数据科学家、研究人员、开发者和AI应用开发者。
项目使用
快速开始
from crawl4ai import WebCrawler
# 创建WebCrawler实例
crawler = WebCrawler()
# 预热爬虫（加载必要的模型）
crawler.warmup()
# 在URL上运行爬虫
result = crawler.run(url="https://www.nbcnews.com/business")
# 打印提取的内容
print(result.markdown)
安装方法
使用pip
virtualenv venv
source venv/bin/activate
pip install "crawl4ai @ git+https://github.com/unclecode/crawl4ai.git"
使用Docker
docker build -t crawl4ai .
docker run -d -p 8000:80 crawl4ai
使用Docker Hub
docker pull unclecode/crawl4ai:latest
docker run -d -p 8000:80 unclecode/crawl4ai:latest
文档和资源
-
官方文档网站[2] -
官方网站[3] -
Twitter[4]
注：本文内容仅供参考，具体项目特性请参照官方 GitHub 页面的最新说明。
欢迎关注&点赞&在看，感谢你的阅读~
Github地址: https://github.com/unclecode/crawl4ai
[2]
官方文档网站: https://crawl4ai.com/mkdocs/
[3]
官方网站: https://crawl4ai.com
[4]
Twitter: https://twitter.com/unclecode
原文始发于微信公众号（AIGC创想者）：2.7K+ Star！Crawl4AI：一个为大型语言模型（LLMs）和AI应用设计的网页爬虫和数据提取工具
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/315197.html
