apify/crawlee
面向开发者的 Node.js/TypeScript 网页抓取与浏览器自动化库，把 Puppeteer、Playwright、Cheerio、JSDOM 和原生 HTTP 统一到一套接口下，支持无头与有头模式、代理轮换，并能下载 HTML、PDF、图片等文件，常被用来为 AI、LLM、RAG 批量准备网页数据。适合有 JS 基础、需要长期维护抓取管道的个人开发者或小团队，不适合零代码用户。
这个项目是什么
Node.js/TypeScript 的网页抓取与浏览器自动化库，统一封装多种抓取引擎与代理轮换。
能用来做什么
- 批量抓取网页正文，做成 RAG 检索语料
- 定时监控商品价格与页面变动
- 整站下载 PDF、图片等文件资源
- 用无头浏览器抓取需渲染或登录的页面
- 为内部工具搭建可复用的采集管道
上手条件
普通人
需要技术背景
图形界面
没有图形界面
部署
需要自己部署
API Key
不需要
成本：库本身 Apache-2.0 免费，主要成本在自托管服务器与代理 IP，轮换代理通常按流量付费；接入 Apify 云平台则按其套餐另计。
能接入：以 Node.js 服务或脚本形式嵌入数据管道，输出结构化 JSON 供 RAG、LLM 使用；可与定时任务、消息队列、n8n、数据库写入组合，本身不是 MCP 服务。
研究：批量采集论文与网页语料建检索库软件开发：为产品采集竞品页面数据内容创作：抓取资讯与素材辅助选题办公：定时抓取公告页或报表数据
商业方向与限制
可以怎么变现：为中小企业交付定制采集管道并做长期维护；把垂直行业数据（价格、招聘、房源等）整理成订阅型数据源，注意目标站点条款与合规边界。
限制：许可证为 Apache-2.0，可商用但需保留声明；抓取行为需自行遵守目标站点 robots 与条款，存在合规与封禁风险。材料未提供 README，安装方式与最新版本未确认；需要 JS/TS 开发能力，反爬与代理维护成本较高。
网页抓取Node.js浏览器自动化数据采集RAG
Star 历史
2 个快照2026-10-182026-10-20
页面上的中文判断由模型基于仓库信息与 README 生成，会标注不确定性；Star 与许可证等事实来自 GitHub 官方 API。发现分析有误可以在后台重新分析该仓库。