所有工具 Web 数据 域名智能 DNS 与基础设施 安全与信任 身份与验证 监控与自动化

robots.txt 测试工具

检查爬虫是否可以访问您的 URL。您可以使用网站线上的 robots.txt,或在发布前粘贴草稿,一次针对多个用户代理测试最多100个 URL。

留空则测试上方网站线上的 robots.txt。

结果

        
交互式情报工具

先运行检查,再交付工作流

先用浏览器工具快速得到答案;当流程需要重复使用时,再把同样逻辑迁移到脚本、监控或产品流程中。

1
从实时表单开始

输入域名、URL、IP、邮箱或记录,无需配置即可获得聚焦结果。

2
查看可用于决策的信号

结果突出状态、风险、记录和下一步行动,而不是原始供应商噪声。

3
自动化行之有效的工作流

使用请求和响应示例,把一次性检查变成 API 调用或组合流程。

被这些公司的人员使用

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse

此工具帮助你做出的判断

每个页面都围绕实际运营问题设计,而不只是原始查询。

信号

查看当前 DNS、注册、安全、价格或信誉证据。

上下文

将结果与相关检查对比,让下一步更可信。

行动

复制示例、打开关联工具,或在需要规模化时进入 API 文档。

集成前可见的信任信号

透明文档、已认证请求和清晰的可靠性信息,让你在上线前更容易评估 DomScan。

服务状态 API 资料

OpenAPI、Swagger、Postman、CLI、SDK 和 MCP 文档链接一键可达。

API 密钥 受保护访问

认证端点使用 API 密钥,并在调用前清楚显示积分成本。

免费额度 免费注册

从每月 10,000 积分开始,只有在用量增长时再升级。

活跃 请求示例

从 curl 和 HTTP 示例开始,再把参数映射到你的应用代码。

主要功能

发布前测试草稿

粘贴 robots.txt,即可查看它如何处理您的 URL,无需改动网站上的任何内容。

多个 URL,多个爬虫

一次检查最多100个 URL 和10个用户代理,并为每种组合给出判定结果。

起决定作用的规则

每个判定都会显示匹配的 Allow 或 Disallow 规则及其行号,遵循官方 robots.txt 标准。

请求示例

POST /v1/robots/test json
{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}

构建在同一套 API 之上

浏览器体验预览 DomScan 的结构化端点,帮助团队在写代码前验证用例。

常见问题解答

可以在 robots.txt 上线前进行测试吗?

可以。将内容粘贴到 robots.txt 输入框中,不会从您的网站获取任何内容。留空则测试当前线上的文件。

可以粘贴完整的用户代理字符串吗?

可以。像 Googlebot 发送的那种完整字符串会被精简为爬虫名称,而 robots.txt 规则匹配的正是这个名称。

“未知”是什么意思?

无法读取线上的 robots.txt,例如网站拦截了请求或请求超时。“未知”绝不会被视为允许,并且本次检查的额度会退还。

相关工具和资源