跳到正文

D4Vinci/Scrapling

一个 Python 网页抓取与爬虫框架,定位是同时覆盖「发一次请求」和「跑一整站批量爬取」两种场景。从 Topics 看,涉及 XPath 选择器、Playwright 浏览器自动化、反检测(stealth)和 MCP 服务端,因此它面向需要采集公开网页数据的开发者,普通人不写代码用不上。没有取到 README,安装方式、具体 API 和实际能力都无法从材料确认。

打开 GitHub 仓库 ↗88,734 Star9,157 ForkPython许可证 BSD-3-Clause创建于 2024-10-13首次发现 2026-10-18

这个项目是什么

一个 Python 网页抓取与爬虫框架,覆盖单次请求到批量爬取,并提供选择器、浏览器自动化与反检测相关能力。

能用来做什么

  • 批量采集商品价格与库存数据
  • 为 AI 助手接网页抓取能力(MCP)
  • 抓取公开目录整理潜在客户线索
  • 定时监控页面内容变化
  • 为数据分析项目准备网页样本集

上手条件

普通人
需要技术背景
图形界面
没有图形界面
部署
需要自己部署
API Key
不需要

成本:代码本身按 BSD-3-Clause 免费。自托管的主要开销是服务器、代理 IP 池和 Playwright 浏览器运行资源;代理和验证码服务通常需要另外付费。

能接入:作为 Python 库可嵌入脚本、定时任务和后端服务;Topics 含 mcp-server,理论上能接入支持 MCP 的 AI 客户端;没有材料说明官方 n8n 节点或 CLI。

软件开发:为内部工具采集公开网页数据研究:批量收集公开网页样本做统计内容创作:整理公开资讯作为素材办公:定时抓取页面数据导出表格

商业方向与限制

可以怎么变现:可以围绕它做定制采集脚本、数据订阅或反封锁维护,向有数据需求的团队交付可运行的爬虫与数据管道,按项目或维护周期收费。

限制:许可证为 BSD-3-Clause,允许商用但需保留版权声明。未取到 README,安装方式与功能边界均未确认,Star 数虽高但不能替代可用性验证。抓取时需遵守目标站点的服务条款与 robots 规则,反检测功能有合规风险。

网页抓取Python爬虫框架MCP数据采集

Star 历史

2 个快照
2026-10-182026-10-20

页面上的中文判断由模型基于仓库信息与 README 生成,会标注不确定性;Star 与许可证等事实来自 GitHub 官方 API。发现分析有误可以在后台重新分析该仓库。