Web 数据

robots.txt 测试工具 API

发送 URL 和用户代理列表,即可获得每种组合的判定结果。您可以测试网站线上的 robots.txt 或粘贴的草稿,查看起决定作用的 Allow 或 Disallow 规则及其行号,并在爬虫发现之前找出语法错误。

API 端点活跃

POST /v1/robots/test

请求示例

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

响应示例 200 OK

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reas
...

请求示例 POST /v1/robots/test

主要功能 4

常见问题解答 4

HTTP 状态码 200 / 400 / 401 / 402 / 409 / 422 / 429

分类 Web 数据

API 端点 1

主要功能 4

常见问题解答 4

被这些公司的人员使用

集成前可见的信任信号

透明文档、已认证请求和清晰的可靠性信息，让你在上线前更容易评估 DomScan。

实时服务状态

集成前，请先查看实时服务运行状况和文档中说明的失败响应。

OpenAPI API 资料

OpenAPI、Swagger、Postman、CLI、SDK 和 MCP 文档链接一键可达。

API 密钥 受保护访问

认证端点使用 API 密钥，并在调用前清楚显示积分成本。

10,000 免费额度

从每月 10,000 积分开始，只有在用量增长时再升级。

这个 API 可以帮你交付什么

把此页面当作生产集成简报：端点、示例、响应结构，以及把 DomScan 接入产品所需的工作流组件。

产品工作流

把域名检查、DNS 情报、风险信号或数据增强嵌入注册、搜索和内部工具。

分析自动化

用计划任务、告警和可复现的调查步骤替代重复的人工查询。

干净的 JSON 数据

使用可预测字段、已记录的状态码和积分成本，而不是抓取供应商页面。

AI 和运维工具

通过 OpenAPI、SDK、Postman 或 MCP 为代理、仪表板、SOAR 剧本和 CRM 提供数据。

集成流程

从第一次请求到可重复生产使用的简单路径。

一次认证

使用文档中的请求头发送 API 密钥，并在服务之间保持请求一致。

用示例查询

从 curl 和 HTTP 示例开始，再把参数映射到你的应用代码。

运行和监控

使用状态码、积分成本和响应字段构建重试、日志和告警。

开发者工具包

从此页面跳转到机器可读文档、请求集合、SDK 或代理工具。

OpenAPI 架构

生成客户端，或检查每种请求和响应结构。

Postman 集合

导入现成请求，用于手动测试和团队交接。

SDK 和 CLI

使用维护中的包和命令行流程，避免编写样板代码。

MCP 集成

把域名情报暴露给 AI 代理和内部助手工作流。

参数和响应映射

在把端点接入客户端前，快速查看输入、输出字段和状态码。

请求参数

参数

robots_txturlurlsuser_agents

响应字段

响应示例

sourcestatussummarysummary.testssummary.allowedsummary.disallowedsummary.unknownresultsissues

状态覆盖

HTTP 状态码

200400401402409422429

API 端点

POST /v1/robots/test

积分: 1身份验证: 需要身份验证

集成前可见的信任信号

透明文档、已认证请求和清晰的可靠性信息，让你在上线前更容易评估 DomScan。

服务状态 API 资料

OpenAPI、Swagger、Postman、CLI、SDK 和 MCP 文档链接一键可达。

API 密钥 受保护访问

认证端点使用 API 密钥，并在调用前清楚显示积分成本。

免费额度 免费注册

从每月 10,000 积分开始，只有在用量增长时再升级。

活跃请求示例

从 curl 和 HTTP 示例开始，再把参数映射到你的应用代码。

主要功能

粘贴文件或线上文件

发送 robots_txt 可在不获取任何内容的情况下测试草稿,发送 url 则测试网站上线上的文件。

批量判定

每次请求最多支持100个 URL 和10个用户代理,返回每个爬虫的汇总统计以及每种组合对应的一行结果。

标准匹配

规则按官方 robots.txt 标准(RFC 9309)的描述进行匹配:最长匹配优先,长度相同时 Allow 优先,并支持 * 和 $ 通配符。

语法检查

拼写错误、位于分组之外的规则、无效行等问题都会连同行号一并列出。

请求示例

POST /v1/robots/test bash

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

响应示例

200 OK json

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reason": "matched_disallow",
      "matched_rule": { "type": "disallow", "path": "/admin/", "line": 5 }
    }
  ],
  "issues": [{ "code": "directive_typo", "count": 1, "lines": [9] }]
}

常见问题解答

这与 Robots.txt API 有什么不同?

Robots.txt API 读取网站线上的文件,并测试一个爬虫和一个路径。测试工具则可在一次请求中检查大量 URL 和爬虫,还能测试您粘贴的 robots.txt。

匹配的是哪个用户代理?

匹配的是爬虫名称,不区分大小写。像 Googlebot 那样的完整浏览器风格字符串会先被精简为爬虫名称,响应中会显示实际使用的名称。

另一个主机上的 URL 会如何处理?

使用线上文件时,与网站主机不同的 URL 会被报告为 other_host 且不给出判定,因为每个主机都有自己的 robots.txt。

费用是多少?

每次请求1个额度,最多包含1,000个判定。如果无法读取线上的 robots.txt,判定结果为未知,额度会退还。

HTTP 状态码

我们明确列出了客户端应处理的 HTTP 状态码，帮助你区分成功响应、认证问题、额度不足、速率限制、数据不存在以及上游故障。

成功 200

请求成功

请求错误 400

参数无效

未授权 401

API 密钥或会话缺失或无效。

需要付款 402

没有足够额度来执行此请求。

HTTP 409 409

我们明确列出了客户端应处理的 HTTP 状态码，帮助你区分成功响应、认证问题、额度不足、速率限制、数据不存在以及上游故障。

HTTP 422 422

我们明确列出了客户端应处理的 HTTP 状态码，帮助你区分成功响应、认证问题、额度不足、速率限制、数据不存在以及上游故障。

请求过多 429

超出速率限制

测试您的 robots.txt

免费开始查看文档试用免费工具

客户支持

robots.txt 测试工具 API

集成前可见的信任信号

这个 API 可以帮你交付什么

集成流程

开发者工具包

参数和响应映射

API 端点

集成前可见的信任信号

主要功能

请求示例

响应示例

常见问题解答

相关工具和资源

HTTP 状态码