Web 数据

robots.txt API

一次请求即可获取并解析任意网站的 robots.txt。您可以得到爬虫分组、规则、声明的站点地图、针对某个 user-agent 和路径的允许或禁止结论，以及主要 AI 爬虫对根路径的访问权限。

API 端点活跃

GET /v1/robots

请求示例

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

响应示例 200 OK

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "Cla
...

请求示例 GET /v1/robots

主要功能 4

常见问题解答 4

HTTP 状态码 200 / 400 / 401 / 402 / 429 / 502

分类 Web 数据

API 端点 1

主要功能 4

常见问题解答 4

被这些公司的人员使用

集成前可见的信任信号

透明文档、已认证请求和清晰的可靠性信息，让你在上线前更容易评估 DomScan。

实时服务状态

集成前，请先查看实时服务运行状况和文档中说明的失败响应。

OpenAPI API 资料

OpenAPI、Swagger、Postman、CLI、SDK 和 MCP 文档链接一键可达。

API 密钥 受保护访问

认证端点使用 API 密钥，并在调用前清楚显示积分成本。

10,000 免费额度

从每月 10,000 积分开始，只有在用量增长时再升级。

这个 API 可以帮你交付什么

把此页面当作生产集成简报：端点、示例、响应结构，以及把 DomScan 接入产品所需的工作流组件。

产品工作流

把域名检查、DNS 情报、风险信号或数据增强嵌入注册、搜索和内部工具。

分析自动化

用计划任务、告警和可复现的调查步骤替代重复的人工查询。

干净的 JSON 数据

使用可预测字段、已记录的状态码和积分成本，而不是抓取供应商页面。

AI 和运维工具

通过 OpenAPI、SDK、Postman 或 MCP 为代理、仪表板、SOAR 剧本和 CRM 提供数据。

集成流程

从第一次请求到可重复生产使用的简单路径。

一次认证

使用文档中的请求头发送 API 密钥，并在服务之间保持请求一致。

用示例查询

从 curl 和 HTTP 示例开始，再把参数映射到你的应用代码。

运行和监控

使用状态码、积分成本和响应字段构建重试、日志和告警。

开发者工具包

从此页面跳转到机器可读文档、请求集合、SDK 或代理工具。

OpenAPI 架构

生成客户端，或检查每种请求和响应结构。

Postman 集合

导入现成请求，用于手动测试和团队交接。

SDK 和 CLI

使用维护中的包和命令行流程，避免编写样板代码。

MCP 集成

把域名情报暴露给 AI 代理和内部助手工作流。

参数和响应映射

在把端点接入客户端前，快速查看输入、输出字段和状态码。

请求参数

参数

urldomainuser_agentpathskip_cache

响应字段

响应示例

statussitemapstesttest.user_agenttest.pathtest.allowedtest.matched_ruletest.matched_rule.typetest.matched_rule.pathtest.matched_rule.lineai_crawlers

状态覆盖

HTTP 状态码

200400401402429502

API 端点

GET /v1/robots

积分: 1身份验证: 需要身份验证

集成前可见的信任信号

透明文档、已认证请求和清晰的可靠性信息，让你在上线前更容易评估 DomScan。

服务状态 API 资料

OpenAPI、Swagger、Postman、CLI、SDK 和 MCP 文档链接一键可达。

API 密钥 受保护访问

认证端点使用 API 密钥，并在调用前清楚显示积分成本。

免费额度 免费注册

从每月 10,000 积分开始，只有在用量增长时再升级。

活跃请求示例

从 curl 和 HTTP 示例开始，再把参数映射到你的应用代码。

主要功能

标准匹配

按 RFC 9309 匹配规则：最具体的 user-agent 分组、最长的路径匹配、长度相同时 allow 优先，并支持 * 和 $。

AI 爬虫覆盖

返回 GPTBot、ClaudeBot、PerplexityBot 等主流 AI 爬虫对网站根路径的访问权限，并附带所属方和用途。

路径测试

传入 user-agent 和路径，即可得到结论、决定该结论的规则及其所属的分组。

清晰的失败状态

被屏蔽、被限流和获取失败的请求会返回未知并退款，因此缺失的答案绝不会被报告为允许。

请求示例

GET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/ bash

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

响应示例

200 OK json

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "ClaudeBot", "owner": "anthropic", "root_access": "allowed", "group": "wildcard" }
  ]
}

常见问题解答

缺少 robots.txt 时如何报告？

返回 404 或 410 时会得到 not_found，按 RFC 9309 这意味着爬虫可以访问所有内容。401、403、429 和 5xx 响应返回 unknown。

包含哪些 AI 爬虫？

来自 OpenAI、Anthropic、Google、Perplexity、Common Crawl、ByteDance、Apple、Meta 和 Amazon 的 14 个代理，按训练、搜索或用户发起的抓取分组。

结果会被缓存吗？

确定的结果会缓存 15 分钟。添加 skip_cache=1 可重新获取文件。路径测试始终根据您的请求实时计算。

需要多少积分？

每次请求 1 积分。以未知状态结束的请求会退款。

HTTP 状态码

我们明确列出了客户端应处理的 HTTP 状态码，帮助你区分成功响应、认证问题、额度不足、速率限制、数据不存在以及上游故障。

成功 200

请求成功

请求错误 400

参数无效

未授权 401

API 密钥或会话缺失或无效。

需要付款 402

没有足够额度来执行此请求。

请求过多 429

超出速率限制

网关错误 502

上游 RDAP 错误

检查 robots.txt

免费开始查看文档试用免费工具

客户支持

robots.txt API

集成前可见的信任信号

这个 API 可以帮你交付什么

集成流程

开发者工具包

参数和响应映射

API 端点

集成前可见的信任信号

主要功能

请求示例

响应示例

常见问题解答

相关工具和资源

HTTP 状态码