Firecrawl

关于 Firecrawl 的常见问题

常规

什么是Firecrawl？
Firecrawl 将整个网站转换为干净的、符合 LLM 的 markdown 或结构化数据。使用单个 API 抓取、抓取和提取网络。对于希望利用 Web 数据增强其 LLM 应用程序的 AI 公司来说，这是理想的选择。

哪些网站有效？
Firecrawl 最适合商业网站、文档和帮助中心。我们目前不支持社交媒体平台。

谁可以从使用 Firecrawl 中受益？
Firecrawl 专为 LLM 工程师、数据科学家、AI 研究人员和希望利用 Web 数据训练机器学习模型、市场研究、内容聚合等的开发人员量身定制。它简化了数据准备过程，使专业人员能够专注于洞察和模型开发。

Firecrawl 是开源的吗？
是的，它是。您可以在 GitHub 上查看存储库。请记住，此存储库目前处于开发的早期阶段。我们正在将自定义模块合并到这个 mono 存储库中。

刮削和爬行

Firecrawl 如何处理网站上的动态内容？
与传统的网络爬虫不同，Firecrawl 能够处理使用 JavaScript 呈现的动态内容。它确保从所有可访问的子页面中收集全面的数据，使其成为抓取严重依赖 JS 进行内容交付的网站的可靠工具。

为什么它没有抓取所有页面？
Firecrawl 可能无法抓取网站的所有页面有几个原因。一些常见的原因包括速率限制和反抓取机制，禁止爬虫访问某些页面。如果您在使用爬虫时遇到问题，请拨打 hello@firecrawl.com 联系我们的支持团队。

Firecrawl 可以抓取没有站点地图的网站吗？
是的，Firecrawl 可以访问和抓取网站的所有可访问子页面，即使在没有站点地图的情况下也是如此。此功能使用户能够以最少的设置从各种 Web 源收集数据。

Firecrawl 可以将网络数据转换为哪些格式？
Firecrawl 专门将 Web 数据转换为干净、格式良好的 markdown。这种格式特别适合 LLM 应用程序，提供了一种结构化而灵活的方式来表示 Web 内容。

Firecrawl如何确保数据的清洁度？
Firecrawl 采用先进的算法来清理和构建抓取的数据，删除不必要的元素并将内容格式化为可读的 markdown。此过程可确保数据已准备好在 LLM 应用程序中使用，而无需进一步预处理。

Firecrawl适合大规模数据抓取项目吗？
绝对。Firecrawl 提供各种定价计划，包括支持抓取数百万个页面的 Scale 计划。它具有缓存和计划同步等功能，旨在有效处理大规模数据抓取和持续更新，是企业和大型项目的理想选择。

它是否尊重robots.txt？
是的，Firecrawl 爬虫遵守网站robots.txt文件中设置的规则。如果您发现 Firecrawl 与您的网站交互的方式存在任何问题，您可以调整robots.txt文件以控制爬虫的行为。Firecrawl 用户代理名称为“FirecrawlAgent”。如果您发现任何意外的行为，请 hello@firecrawl.com 告知我们。

Firecrawl 采取哪些措施来处理网络抓取挑战，例如速率限制和缓存？
Firecrawl 旨在应对常见的网络抓取挑战，包括反向代理、速率限制和缓存。它智能地管理请求并采用缓存技术来最大限度地减少带宽使用并避免触发反抓取机制，确保可靠的数据收集。

Firecrawl 是否处理验证码或身份验证？
Firecrawl 通过使用隐形代理来避免验证码。当它遇到验证码时，它会尝试自动解决它，但这并不总是可能的。我们正在努力增加对更多验证码解决方法的支持。Firecrawl 可以通过向 API 提供身份验证标头来处理身份验证。

API相关

在哪里可以找到我的 API 密钥？
登录后，单击顶部导航菜单上的仪表板按钮，您将在主屏幕和 API 密钥下找到您的 API 密钥。

计费

Firecrawl 是免费的吗？
Firecrawl 对前 500 个抓取的页面（500 个免费积分）是免费的。之后，您可以升级到我们的标准或规模计划以获得更多积分。

是否有按使用付费计划而不是按月付费？
不，我们目前不提供按使用付费计划，而是您可以升级到我们的标准或增长计划以获得更多积分和更高的费率限制。

抓取、爬行和提取需要多少信用？
抓取费用为每页 1 个学分。抓取费用为每页 1 个积分。

你们是否对失败的请求（抓取、抓取、提取）收费？
我们不对任何失败的请求（抓取、抓取、提取）收费。如果您有任何问题，请与 help@firecrawl.dev 的支持人员联系。

你们接受哪些付款方式？
我们通过 Stripe 接受付款，Stripe 接受大多数主要的信用卡、借记卡和 PayPal。