快速入门
本指南介绍了如何使用 ScrapingBee 的所有功能：
- 入门 — 创建您的帐户并获取您的 API 密钥
- 如何使用人工智能网络爬虫 — 使用简明英语从网页中提取复杂的结构化信息
- 如何使用 Google 搜索 API — 无需自行管理代理 IP 即可抓取 Google 搜索结果
- 如何使用 Google Shopping Scraper — 收集任何搜索词的产品列表和提取的价格
- 如何使用 JavaScript 网络爬虫 — 处理使用 React 或 Vue 构建的网页上的 JavaScript 渲染
- 如何使用 ChatGPT 抓取工具 — 从动态 AI 聊天页面捕获回复和页面源代码
- 如何使用 Google 新闻抓取 API — 通过简单的 API 请求获取新闻标题和全文
- 如何使用快速数据抓取 — ScrapingBee 会自动轮换代理，让您快速抓取数据。
- 如何使用程序化屏幕截图 API — 通过编程方式捕获任何 URL 的完整页面屏幕截图
- 如何使用 Scrape Google Jobs — 将职位列表收集为复杂的结构化信息
所需时间： 每部影片 5 分钟
本指南还包含以下内容： 专业提示 | 常见错误 | 故障排除 | 定价 | 替代方案
为什么信任本指南
我使用 ScrapingBee 已经一年多了，并且测试过这里提到的所有功能。本教程基于实际操作经验，而非厂商提供的截图。
ScrapingBee 是一个基于云的 刮削工具 它负责处理网络爬虫的难点部分。
它可以管理无头浏览器并自动轮换代理服务器。
本指南将逐步向您展示如何使用每个主要功能。
文中配有截图、简单示例和专业技巧。
ScrapingBee教程
这篇完整的 ScrapingBee 教程将带您了解每个功能，从您的第一个 API 请求到高级 JavaScript 场景技巧。
ScrapingBee
无需管理代理 IP 或无头浏览器，即可抓取任何网站。ScrapingBee 通过一个简单的 REST API 处理 JavaScript 渲染。立即获取 1000 次免费 API 调用——无需信用卡。
ScrapingBee 入门指南
使用任何功能之前，请先完成此一次性设置。
大约需要三分钟。
以下是工作流程的简要概述：
现在让我们一步一步来。
第一步：创建您的帐户
前往 ScrapingBee 网站，点击“注册”。
通过推荐链接输入优惠码 ADNAN，即可获得额外 API 积分。
✓ 检查点： 您的控制面板会显示您唯一的 API 密钥。
步骤 2：设置您的代码
在 Python 中，运行 pip install scrapingbee 或直接导入 requests。
requests 库允许你从任何编程语言调用 API。
✓ 检查点： 您的环境已准备就绪，可以发送 API 请求。
第三步：拨打你的第一个电话
使用您的 API 密钥和 URL 向 https://app.scrapingbee.com/api/v1/ 端点发送请求。
这个简单的例子可以让你用几行完整的代码抓取网页。
✅ 完成： 您已准备好使用以下任何功能。
如何使用 ScrapingBee AI 网络爬虫
人工智能网络爬虫 让您能够使用简单的英语从网页中提取复杂的结构化信息。
以下是使用步骤详解。
步骤 1：获取您的 API 密钥
注册后，从控制面板复制您的 API 密钥。
步骤二：描述数据
添加目标网址并编写纯英文查询语句。
这就是它的样子：
✓ 检查点： 一个包含您所选字段的干净 JSON 对象将显示出来。
步骤 3：设置提取规则
调整提取规则，以准确提取每个字段。
✅ 结果： 无需手动编写 CSS 选择器即可生成结构化的 JSON。
💡 专业提示： 当您需要精确控制时，可将 AI 提取与 CSS 选择器结合使用。
如何使用 ScrapingBee Google 搜索 API
Google 搜索 API 无需自行管理代理 IP，即可抓取 Google 搜索结果。
以下是使用步骤详解。
步骤 1：选择端点
请将请求指向 Google 搜索 API。
步骤 2：设置查询
添加关键词和随机国家/地区，即可获得本地搜索结果。
这就是它的样子：
✓ 检查点： 排名结果以结构化数据的形式返回。
步骤 3：读取 JSON
使用 Python 中的 requests 库解析响应。
✅ 结果： 通过一个简单的 REST API 调用即可搜索数据。
💡 专业提示： 每次查询时使用 country_code 进行高级代理地理位置定位。
如何使用 ScrapingBee Google Shopping 抓取工具
Google购物抓取工具 可让您收集任何搜索词的产品列表和提取的价格。
以下是使用步骤详解。
第一步：发送购物请求
使用产品查询调用购物接口。
步骤 2：解析响应
将每个列表映射到标题、链接和提取的价格。
这就是它的样子：
✓ 检查点： 产品数据以干净的 JSON 格式返回。
步骤 3：导出结果
将数据保存为 CSV 文件以便进一步分析。
✅ 结果： 实时价格数据，可导入任何电子表格。
💡 专业提示： 定期运行程序以跟踪提取价格随时间的变化。
如何使用 ScrapingBee JavaScript 网络爬虫
JavaScript 网络爬虫 允许您处理使用 React 或 Vue 构建的网页上的 JavaScript 渲染。
以下是使用步骤详解。
步骤 1：启用 render_js
设置 render_js=true，以便 ScrapingBee 使用无头浏览器。
步骤 2：等待元素
让它等待特定元素加载完毕。
这就是它的样子：
✓ 检查点： 提取之前会先渲染整个页面。
步骤 3：捕获 HTML
返回渲染后的原始html或原始页面源代码。
✅ 结果： 完全渲染的网页，无需管理 Web 驱动程序。
💡 专业提示： 添加用于点击、滚动或表单填写的 JavaScript 场景。
如何使用 ScrapingBee ChatGPT 抓取工具
ChatGPT 刮刀 允许您捕获动态 AI 聊天页面的回复和页面源代码。
以下是使用步骤详解。
步骤 1：选择页面
发送已启用 render_js 的页面 URL。
步骤 2：渲染和提取
让无头爬虫加载回复，然后抓取 文本.
这就是它的样子：
✓ 检查点： 渲染结果会显示在页面源代码中。
步骤 3：保存输出
将解析后的html文件存储起来，以便后续处理。
✅ 结果： 从完全动态的页面中提取的纯文本。
💡 专业提示： 将 JavaScript 场景串联起来，逐步执行多步骤提示。
如何使用 ScrapingBee Google 新闻抓取 API
Google 新闻抓取 API 允许您通过简单的 API 请求获取标题和全文。
以下是使用步骤详解。
步骤 1：设置新闻端点
请向 Google 新闻 API 发送请求。
步骤二：添加筛选条件
按主题、语言或随机国家/地区筛选。
这就是它的样子：
✓ 检查点： 匹配的标题将以结构化数据的形式返回。
步骤三：收集文章
遍历结果以收集每个故事。
✅ 结果： 最新新闻数据直接来自 scrapingbee API。
💡 专业提示： 轮换国家代码以比较区域覆盖范围。
如何使用 ScrapingBee 快速数据抓取
快速数据抓取 ScrapingBee 可以让你快速进行数据抓取，同时它还会为你轮换代理。
以下是使用步骤详解。
步骤 1：构建您的请求
只需一次性配置好URL、API密钥和参数即可。
步骤 2：运行并发调用
同时发出多个 API 请求。
这就是它的样子：
✓ 检查点： 回复同时涌入。
步骤三：检查状态代码
确认每个返回的状态码都对应 200 HTTP 代码。
✅ 结果： High-volume scraping handled on remote machines.
💡 专业提示： ThreadPoolExecutor 可以显著提高网页抓取速度。
如何使用 ScrapingBee 程序化屏幕截图 API
程序化屏幕截图 API 允许您以编程方式捕获任何 URL 的完整页面屏幕截图。
以下是使用步骤详解。
步骤 1：添加屏幕截图标志
在您的 API 请求中添加 screenshot=true。
步骤 2：选择全页
设置 full_page=true 以捕获整个布局。
这就是它的样子：
✓ 检查点： 全页图像会铺满整个页面。
步骤三：下载图片
将返回的文件保存到磁盘。
✅ 结果： 按需生成像素级完美图像。
💡 专业提示： full_page 参数确保首先渲染整个页面。
如何使用 ScrapingBee 抓取 Google Jobs 数据
抓取谷歌招聘信息 使您可以将职位列表收集为复杂的结构化信息。
以下是使用步骤详解。
步骤 1：调用作业端点
将您的职位和所在地发送至招聘API。
步骤二：筛选列表
按职称、公司或城市缩小搜索结果范围。
这就是它的样子：
✓ 检查点： 作业数据以干净的 JSON 格式返回。
步骤 3：构建数据结构
将 HTML 字段解析成整齐的表格。
✅ 结果： 作业数据已准备好进行解析和存储。
💡 专业提示： 配合 CSS 选择器提取自定义字段。
ScrapingBee 专业技巧和快捷方式
经过一年多的测试，以下是我总结的抓取网站数据的最佳技巧。
关键 API 参数
| 范围 | 它的功能 |
|---|---|
| render_js | 在无头浏览器中渲染 JavaScript |
| 高级代理 | 切换到住宅代理 IP |
| 国家代码 | 设置高级代理地理位置（随机国家/地区） |
| 屏蔽广告 | 允许您屏蔽广告以加快请求速度 |
大多数人错过的隐藏功能
- session_id： 在五分钟内，API 请求通过同一个 IP 地址路由，因此您可以保持相同的 HTTP 代码和会话。
- 返回页面源： 返回运行任何 JavaScript 代码之前的原始 HTML 和完整页面源代码。
- 自定义标头和 Cookie： 您可以发送自定义标头和自定义 cookie，或者回退到 ScrapingBee 生成的默认标头。
- 头部控制： 将现有标题替换为新标题，显示自动生成的标题，然后仅保留特定标题并删除其他标题。
ScrapingBee 常见错误及避免方法
错误一：抓取网页前忽略 robots.txt 文件
❌ 错误： 未经事先检查规则，就向任何你想抓取的网站发出请求。
✅ 右图： 在抓取网页之前，请检查 robots.txt 文件和服务条款。
错误二：忘记启用 JavaScript 渲染
❌ 错误： 预期会显示动态内容，但每次都得到空白页面源代码。
✅ 右图： 设置 render_js=true，以便无头浏览器首先加载完整页面。
错误三：只发送默认标头
❌ 错误： 仅依赖默认标头，而某些网站会标记并屏蔽这些标头。
✅ 右图： 当您想要抓取数据时，请发送您自己的自定义标头和真实的用户代理参数。
ScrapingBee故障排除
问题：页面源代码为空或不完整
原因： 页面上的 JavaScript 代码从未渲染，因此返回的 HTML 页面为空白。
使固定： 设置 render_js=true 并等待特定元素加载完整页面。
问题：请求不断被阻止
原因： 目标站点已标记默认数据中心代理 IP 地址。
使固定： 启用高级代理，使其轮换使用来自随机国家的新 IP 地址。
问题：您看到 401 或 403 HTTP 代码
原因： 您的 API 密钥错误，或者您的 API 额度已用完。
使固定： 确认 API 密钥，检查状态码，如有需要请充值。
📌 笔记： 如果以上方法均无法解决您的问题，请联系 ScrapingBee 技术支持。
ScrapingBee是什么？
ScrapingBee 是一个基于云的抓取工具，可以处理无头浏览器并自动轮换代理。
你可以把它想象成一个通过 REST API 控制的托管浏览器。
观看这段快速概览：
它包含以下主要特点：
- 人工智能网络爬虫： 让您能够使用简单的英语从网页中提取复杂的结构化信息。
- Google 搜索 API： 无需自行管理代理 IP，即可抓取 Google 搜索结果。
- Google购物数据抓取工具： 可让您收集任何搜索词的产品列表和提取的价格。
- JavaScript 网络爬虫： 允许您处理使用 React 或 Vue 构建的网页上的 JavaScript 渲染。
- ChatGPT 数据抓取工具： 允许您捕获动态 AI 聊天页面的回复和页面源代码。
- Google 新闻抓取 API： 通过简单的 API 请求即可获取新闻标题和全文。
- 快速数据抓取： ScrapingBee 会自动轮换代理，让您能够快速进行数据抓取。
- 程序化屏幕截图 API： 允许您以编程方式捕获任何 URL 的完整页面屏幕截图。
- 抓取谷歌职位信息： 允许您将职位列表收集为复杂的结构化信息。
如需完整评测，请参阅我们的 ScrapingBee 评测.
ScrapingBee 定价
以下是 ScrapingBee 在 2026 年的成本：
| 计划 | 价格 | 最适合 |
|---|---|---|
| 自由职业者 | 每月 49 美元 | 独立开发者和小项目 |
| 创业公司 | 每月99美元 | 不断壮大的团队正在扩展 API 请求 |
| 商业 | 每月 249 美元 | 高容量网络爬虫工作负载 |
| 商务+ | 每月 599 美元 | 企业团队在远程机器上 |
免费试用： 是的——1000次免费API调用，无需信用卡。
退款保证： 随时可以取消；按月计费，无合约期限。
💰 性价比最高： Startup——为大多数团队提供 API 额度和价格的最佳平衡。
ScrapingBee 与其他方案的比较
ScrapingBee 与其他竞争对手相比如何？以下是竞争格局：
观看这段对比视频：
| 工具 | 最适合 | 价格 | 等级 |
|---|---|---|---|
| ScrapingBee | 通过一个 REST API 进行 JavaScript 渲染 | 每月 49 美元 | ⭐ 4.5 |
| Apify | 现成的刮削器演员 | 因情况而异 | ⭐ — |
| ScrapeGraphAI | AI驱动的提取规则 | 因情况而异 | ⭐ — |
| 明亮数据 | 企业代理 IP | 因情况而异 | ⭐ — |
| 浏览 人工智能 | 无需代码，点击即可操作 | 因情况而异 | ⭐ — |
| 奥克西拉布斯 | 高级企业代理 | 因情况而异 | ⭐ — |
| ThorData | 预算代理网络 | 因情况而异 | ⭐ — |
| 泽特 | 开发者抓取 API | 因情况而异 | ⭐ — |
| 网络爬虫.io | 浏览器扩展捕获 | 因情况而异 | ⭐ — |
| 氦气刮刀 | 桌面站点地图 | 因情况而异 | ⭐ — |
| 火行者 | 适用于LLM的Markdown | 因情况而异 | ⭐ — |
快速精选：
- 综合最佳： ScrapingBee——一个用于渲染、搜索和屏幕截图的 REST API。
- 最佳预算： ThorData——提供价格低廉的代理 IP 地址，适用于简单的网络爬虫活动。
- 最适合初学者： 浏览人工智能——无需代码，无需编程语言。
- 最适合企业使用： Bright Data——专为大规模、合规的抓取操作而打造。
🎯 ScrapingBee 的替代方案
正在寻找 ScrapingBee 的替代方案？以下是一些最佳选择：
- 🚀 Apify： 一个功能齐全的爬虫平台，拥有现成的角色，并提供慷慨的免费套餐，可快速测试想法。
- 🧠 ScrapeGraphAI： 一款以人工智能为核心的爬虫，可以将简单的提示信息转化为复杂结构化信息的提取规则。
- 🏢 亮数据： 为超大规模网络爬虫操作和严格合规性而构建的企业级代理 IP 和数据集。
- 👶 浏览人工智能： 一款无需编写任何代码即可记录点击操作以构建爬虫的工具。
- 🔒 Oxylabs： 为要求苛刻的企业级工作负载提供具有强大可靠性的优质代理和爬虫 API 提供商。
- 💰 ThorData： 一个经济实惠的代理网络，涵盖住宅和数据中心代理 IP，适用于日常网络爬虫任务。
- 🔧 Zyte： 一个面向开发者的抓取 API，前身为 Scrapinghub，具有智能封禁处理和干净的页面源代码。
- 🎨 Webscraper.io： 一款浏览器扩展程序抓取工具，可在 Chrome 浏览器中以可视化方式构建站点地图，实现点击式数据捕获。
- 💼 氦气刮取器： 一款适用于 Windows 的桌面网络爬虫应用程序，无需任何云依赖即可绘制复杂网站的地图。
- ⚡ 火行者： 一款人工智能爬虫，可以将整个网站转换为简洁的 Markdown 格式，用于训练大型语言模型。
完整列表请参见我们的 ScrapingBee 的替代方案 指导。
⚔️ ScrapingBee 对比
以下是 ScrapingBee 与各竞争对手的对比情况：
- ScrapingBee 对比 Apify： Apify 提供了一个爬虫市场；ScrapingBee 的优势在于简单的 REST API 访问和更快的设置。
- ScrapingBee 对比 ScrapeGraphAI： ScrapeGraphAI 完全依赖于 AI；ScrapingBee 则同时提供 AI 提取和原始 CSS 选择器。
- ScrapingBee 对比 Bright Data： Bright Data 可扩展至企业级；ScrapingBee 更便宜、更简单，适合中小型团队。
- ScrapingBee 对比 Browse AI： Browse AI 适合非程序员；ScrapingBee 适合想要 REST API 和完全控制权的开发人员。
- ScrapingBee 对比 Oxylabs： Oxylabs 的目标客户是大型企业；ScrapingBee 提供更低的入门价格和更容易上手的学习曲线。
- ScrapingBee 对比 ThorData： ThorData 在代理价格方面展开竞争；ScrapingBee 将渲染、屏幕截图和 AI 集成到一个 API 中。
- ScrapingBee 对比 Zyte： Zyte 拥有深厚的开发者背景；ScrapingBee 更适合快速项目和小团队。
- ScrapingBee 与 Webscraper.io： Webscraper.io 在浏览器中运行；ScrapingBee 在服务器端处理大规模的 JavaScript 渲染。
- ScrapingBee 对比 Helium Scraper： Helium Scraper 仅限桌面端使用；ScrapingBee 在云端运行，因此完全无需使用 Web 驱动程序。
- ScrapingBee 对阵 Firecrawl： Firecrawl 针对 LLM 管道；ScrapingBee 涵盖更广泛的抓取，包括屏幕截图和搜索 API。
立即开始使用 ScrapingBee
你已经学会了如何使用 ScrapingBee 的所有主要功能：
- ✅ 人工智能网络爬虫
- ✅ Google 搜索 API
- ✅ Google购物抓取工具
- ✅ JavaScript 网络爬虫
- ✅ ChatGPT 数据抓取器
- ✅ Google 新闻抓取 API
- ✅ 快速数据抓取
- ✅ 程序化屏幕截图 API
- ✅ 抓取谷歌招聘信息
下一步： 选择一项功能，立即试用。
大多数人都是从人工智能网络爬虫开始的。
一个很受欢迎的入门项目是创建一个 OLX 爬虫来抓取商品信息。
在开发过程中，ScrapingBee 会在远程机器上运行浏览器来为你工作。
在您的第一个 OLX 数据抓取工具运行正常后，探索更多功能。
抓取第一页内容只需不到五分钟。
常见问题解答
ScrapingBee 的工作原理是什么？
ScrapingBee 是一款基于云端的网络爬虫工具。你只需发送包含 API 密钥和 URL 的请求，它就会使用无头浏览器返回页面，同时自动轮换代理服务器。
ScrapingBee 的价格是多少？
套餐起价为每月 49 美元（自由职业者版），然后是每月 99 美元（创业版），每月 249 美元（企业版），以及每月 599 美元（企业+版）。免费试用版提供 1000 次 API 调用，可用于测试数据抓取功能。
网络爬虫违法吗？
抓取公共网页通常是合法的。但为了安全起见，务必先查看网站的 robots.txt 文件和条款，避免抓取个人数据，并遵守速率限制。
ScrapingBee 是否支持 JavaScript 渲染？
是的。设置 render_js=true 后，ScrapingBee 就能在无头浏览器中加载网页。这种 JavaScript 渲染方式可以直接用于使用 React 或 Vue 构建的网站。
ScrapingBee 支持哪些编程语言？
任何语言都可以。ScrapingBee 是一个 REST API，所以你可以用 Python、Node、PHP 或任何其他语言调用它。在 Python 中，只需导入 requests 库并发送你的 API 请求即可。
English 
Spanish 
Chinese 
German 
French 
Arabic 
Russian 
Portuguese 
Japanese 
Korean 
Italian 
Turkish 
Dutch 
Polish 
Indonesian 
Thai 
Vietnamese 