如何使用 Firecrawl 将网站转换为干净数据（2026）

快速入门

本指南涵盖了 Firecrawl 的所有功能：

• 入门 — 创建 Firecrawl 帐户并设置您的 API 密钥
• 如何使用 Scrape — 从单个网页中提取 llm 就绪数据
• 如何使用爬虫 — 抓取整个网站并跟踪每个链接
• 如何使用搜索功能 — 在网络上搜索实时网络数据
• 如何使用地图 — 对各个页面进行 URL 发现
• 如何使用提取物 — 使用自然语言提示提取结构化数据

所需时间： 每部影片 5 分钟

本指南还包含以下内容： 专业提示 | 常见错误 | 故障排除 | 定价 | 替代方案

为什么信任本指南

我使用 Firecrawl 已经一年多了，并且测试了这里提到的所有功能。

本教程讲解如何使用 Firecrawl，内容源自实际的网络爬虫操作经验。

Firecrawl 是一款人工智能驱动的网络爬虫，可将网站转换为干净的、可用于 LLM 的数据。

但大多数用户仅仅触及了这款多功能工具的冰山一角。

本指南将通过截图，一步一步地向您展示如何使用每个主要功能。

火行者教程

本 Firecrawl 完整教程将带您了解每个功能，从您的第一个 API 密钥到高级批量操作，让您成为高级用户。

Firecrawl 入门指南

使用任何功能之前，请先完成此一次性设置。

大约需要3分钟。

请先观看这段简短的概述：

现在让我们一步一步来。

第一步：创建您的帐户

请访问 Firecrawl 网站：https://www.firecrawl.dev。

点击“注册”即可开通免费版 firecrawl 帐户。

请输入您的电子邮件地址并创建密码。

✓ 检查点： 检查你的 收件箱 请发送确认邮件。

步骤 2：安装并设置您的 API 密钥

运行 pip install firecrawl-py 将 api 服务添加到您的项目中。

复制您的 API 密钥，然后将其保存为环境变量。 安全.

这就是仪表盘的样子：

✓ 检查点： 您应该可以看到包含使用情况和 API 密钥的主控制面板。

第三步：拨打你的第一个电话

导入 FirecrawlApp 类，并使用您的密钥创建一个 firecrawl 实例。

每个请求都会到达 https://api.firecrawl.dev/v2 的基本端点。

如何使用 Firecrawl 刮刀

刮 允许您通过一次 API 调用从单个页面提取干净的、可用于 llm 的数据。

抓取模式针对单个页面，非常适合快速提取特定细节。

以下是使用步骤。

现在让我们逐一分析每个步骤。

步骤 1：获取您的 API 密钥

创建 firecrawl 帐户，然后从控制面板复制您的 API 密钥。

将其存储为环境变量，这样你的 API 密钥就不会出现在原始代码中。

步骤 2：调用抓取端点

将单个 URL 传递给 firecrawl 实例上的 .scrape_url() 方法。

您可以请求以 Markdown 格式、原始 html 或结构化 json 作为输出格式。

这就是它的样子：

✓ 检查点： 你应该看到当前页面的清晰 Markdown 格式，已准备好用于人工智能应用程序。

步骤 3：读取清理后的输出

Firecrawl 返回干净且易读的数据。 文本去除无用的html标签。

如何使用 Firecrawl 爬行者

爬行 无需站点地图即可自动抓取整个网站并跟踪链接。

爬取模式允许您爬取网站的多个页面，并收集每个可访问的页面。

以下是使用步骤。

现在让我们逐一分析每个步骤。

步骤 1：指向根 URL

给爬取端点指定一个起始网址，例如 https://example.com。

Firecrawl 能够通过链接自动进行网页爬取，并跟踪页面。

步骤 2：启动爬取作业

启动爬取作业并获取返回的作业 ID 以跟踪进度。

使用作业 ID 轮询状态，并在每个页面完成后提取已抓取的数据。

这就是它的样子：

✓ 检查点： 你应该能看到从网站各处抓取的页面逐渐构建成网络数据。

步骤 3：导出结果

将每个页面收集为 Markdown 或结构化 JSON，以便用于数据管道。

如何使用 Firecrawl 搜索引擎

搜索 让你能够搜索网络并返回可以直接输入人工智能代理的干净结果。

搜索功能允许您查询网络并将实时网络数据以可读文本的形式提取出来。

以下是使用步骤。

现在让我们逐一分析每个步骤。

第一步：发送查询

使用纯自然语言查询调用搜索端点。

Firecrawl 可以搜索新闻网站、招聘网站和评论网站等网络内容。

步骤 2：选择输出格式

请将每个结果以 Markdown 格式或结构化 JSON 格式提供。

所有结果都是干净的数据，而不是杂乱的原始 HTML。

这就是它的样子：

✓ 检查点： 您应该能看到以结构化网页数据形式返回的排名网页。

步骤 3：导入到您的应用程序中

将结构化数据输入 人工智能助手 或人工智能工作流程。

如何使用 Firecrawl 高级地图

地图 允许您运行 URL 发现程序，并将一个域名转换为包含各个页面的完整地图。

地图模式可以快速检索网站上的每个网址，从而实现快速网址发现。

以下是使用步骤。

现在让我们逐一分析每个步骤。

步骤 1：提交域名

将单个根 URL 传递给地图端点。

Firecrawl 无需站点地图即可返回所有链接。

步骤 2：查看 URL 列表

在抓取数据之前，先扫描返回的各个页面。

将列表保存到 csv 文件中，以便规划数据提取。

这就是它的样子：

✓ 检查点： 您应该可以通过一个网址看到完整的网页站点地图。

步骤 3：选择要抓取的内容

选择你想要抓取的页面，然后将它们发送到抓取或爬取程序。

如何使用 Firecrawl 提取器

提炼 允许您使用自然语言提示从任何页面提取结构化数据。

Extract 使用人工智能解析技术，精确提取您描述的字段。

以下是使用步骤。

现在让我们逐一分析每个步骤。

步骤 1：定义模式

使用以下代码编写 Pydantic 模型：from pydantic import BaseModel。

基于模式的提取告诉 Firecrawl 要返回哪些字段作为结构化 JSON。

步骤二：描述数据

对于模式无法捕获的字段，添加自然语言提示。

这就是无需编写解析规则即可从网页中提取数据的方法。

这就是它的样子：

✓ 检查点： 你应该看到的是整齐的结构化数据，而不是杂乱的HTML标签。

步骤 3：接收结构化 JSON

Firecrawl 返回干净的结构化 JSON 数据，可用于训练数据。

Firecrawl 专业技巧和快捷键

经过一年多的Firecrawl测试，以下是我总结的更清晰的数据提取技巧。

键盘快捷键

行动	捷径
在操场上跑来跑去	Ctrl + Enter
复制 API 密钥	Ctrl + C
打开文档	Ctrl + K
切换输出格式	标签页

大多数人错过的隐藏功能

• max_age 缓存： 重复利用最近抓取的数据，实现更快、更便宜的重复抓取。
• 浏览器操作： 点击、滚动和输入文字即可访问 JavaScript 渲染后的内容。
• 异步批处理： 使用批量处理功能处理数千个 URL，而不会阻塞您的 Web 应用程序。

避免参加火行活动常见的错误

错误一：将 API 密钥硬编码到代码中

错误二：先爬取地图再进行地图绘制。

错误三：自行解析原始 HTML。

Firecrawl故障排除

问题：401 未授权错误

原因： 您的 API 密钥缺失或未从环境变量中加载。

使固定： 重新导出密钥，然后重新创建 firecrawl 实例并重试。

问题：复杂网站上的超时错误

原因： 繁重的 JavaScript 渲染或动态内容加载时间较长。

使固定： 添加等待操作，以便当前页面加载完毕后再进行捕获。

问题：达到速率限制

原因： 免费套餐或较低级别的套餐一次性请求过多。

使固定： 批量操作速度慢或需要升级才能支持更多并发浏览器。

📌 笔记： 如果以上方法均无法解决您的问题，请联系 Firecrawl 技术支持。

什么是 Firecrawl？

火行者 是一款人工智能驱动的网络爬虫工具，可以将网站转换为干净、结构化的数据。

你可以把它想象成一个网络爬虫，它向人工智能代理提供可读文本，而不是混乱的原始 HTML。

Firecrawl 由 Mendable.ai 开发，旨在减少人工智能应用程序中的代币浪费。

观看这段快速概览：

它包含以下主要特点：

• 刮： 从单个网页中提取数据，格式为 Markdown 或结构化 JSON。
• 爬行： 无需站点地图即可抓取整个网站并跟踪链接。
• 搜索： 搜索网络，并从新闻网站和评论网站返回干净的数据。
• 地图： 快速URL发现功能，可将一个域名转换为完整的站点地图。
• 提炼： 使用自然语言提示和 Pydantic schemas 提取结构化网络数据。

Firecrawl 通过自动处理代理、速率限制和 JavaScript 渲染，超越了传统的网页抓取方式。

与需要 Selenium 的传统工具不同，它通过一个 API 服务为数据科学家和开发人员提供服务。

如需完整评测，请参阅我们的 Firecrawl 评测.

火爬行定价

以下是2026年Firecrawl的成本：

计划	价格	最适合
自由的	自由的	测试抓取和爬取几个页面
爱好	每月16美元	独立开发者和小规模数据管道
标准	每月 83 美元	团队定期执行网络爬虫任务
生长	每月 333 美元	大规模市场调研与监测

免费试用： 是的——免费计划允许您抓取有限数量的页面。

退款保证： 虽然没有正式保证，但您可以随时降级。

💰 性价比最高： 标准版——对于大多数团队而言，积分和并发浏览器数量之间达到了最佳平衡。

Firecrawl 与其他方案的比较

Firecrawl 与其他产品相比如何？以下是竞争格局：

工具	最适合	价格	等级
火行者	适用于人工智能的干净数据	每月16美元	⭐ 3.5
Apify	预置演员	每月 49 美元	⭐ 4.5
明亮数据	代理规模	自定义	⭐ 4.6
Crawl4AI	开源	自由的	⭐ 4.4
Scrapy	Python 控制	自由的	⭐ 4.5
ScrapeGraphAI	LLM图抓取	每月 20 美元	⭐ 4.3

快速精选：

• 综合最佳： Firecrawl — 来自单个 API 的最干净的 llm 就绪数据。
• 最佳预算： Crawl4AI——面向实践型数据科学家的免费开源软件。
• 最适合初学者： Firecrawl——自然语言提示隐藏了难点。
• 最适合代理规模： Bright Data——为复杂网站提供庞大的代理池。

🎯 Firecrawl 的替代方案

正在寻找 Firecrawl 的替代方案？以下是一些最佳选择：

• 🚀 Apify： 用于网络爬虫的预构建 Actor 市场，当您希望通过单个 API 使用现成的爬虫时非常有用。
• 🏢 亮数据： 企业代理网络，用于大规模抓取任务和跨动态网站的大规模内容监控。
• 💰 Crawl4AI： 免费开源爬虫，可输出 llm 就绪数据，非常适合预算有限的 AI 工作流程和本地运行。
• 🔧 Scrapy： 经过实战检验的 Python 框架，使开发人员能够完全控制爬虫、解析和数据管道。
• 🧠 ScrapeGraphAI： 基于图论和人工智能的提取方法，能够映射页面结构，从而基于模式提取结构化数据。

完整列表请参见我们的 Firecrawl 的替代方案 指导。

⚔️ Firecrawl 对比

以下是Firecrawl与各竞争对手的对比：

• Firecrawl 对阵 Apify： Firecrawl 胜在输出干净、可直接用于 llm 的文件；Apify 胜在拥有丰富的预构建爬虫库。
• Firecrawl 对阵 Bright Data： Bright Data 在代理规模方面胜出；Firecrawl 在更简单的结构化数据提取方面胜出。
• Firecrawl 对阵 Crawl4AI： Crawl4AI 在价格和自托管方面胜出；Firecrawl 在受控速率限制和可靠性方面胜出。
• Firecrawl 对阵 Scrapy： Scrapy 的优势在于底层控制；Firecrawl 的优势在于速度快且无需代理设置。
• Firecrawl 对比 ScrapeGraphAI： 两者都由人工智能驱动；Firecrawl 在爬虫覆盖率方面胜出，ScrapeGraphAI 在图逻辑方面胜出。

立即开始使用 Firecrawl

你已经学会了如何使用 Firecrawl 的所有主要功能：

• ✅ 刮擦
• ✅ 爬行
• ✅ 搜索
• ✅ 地图
• ✅ 提取物

下一步： 选择一项功能，立即试用。

大多数人都是从 Scrape 开始的。

只需不到5分钟。

常见问题解答

Firecrawl是用来做什么的？

Firecrawl 是一款人工智能驱动的网络爬虫工具。它可以将网页转换为干净的、可用于人工智能代理、市场调研系统、市场研究和价格监控的数据。

Firecrawl可以免费使用吗？

是的。免费套餐允许您使用 API 密钥抓取有限数量的页面，因此您可以在付费之前测试抓取、爬取和提取功能。

如何安装 Firecrawl？

运行 pip install firecrawl-py，然后将你的 api 密钥设置为环境变量，并创建一个 firecrawl 实例来启动你的第一个 api 调用。

Firecrawl 与传统刮削技术有何不同？

传统的网页抓取需要 Selenium 和手动代理设置。Firecrawl 通过一个 API 服务即可自动处理 JavaScript 渲染、速率限制和数据清洗。

Firecrawl 能否提取结构化数据？

是的。使用自然语言提示或 Pydantic schema 进行基于模式的提取，Firecrawl 将返回结构化的 JSON 而不是原始 HTML。