从实时表单开始
输入域名、URL、IP、邮箱或记录，无需配置即可获得聚焦结果。
robots.txt 检查器
输入网站即可读取其 robots.txt，测试爬虫能否抓取某个路径，并查看 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫受到怎样的对待。
结果
交互式情报工具
先运行检查，再交付工作流
先用浏览器工具快速得到答案；当流程需要重复使用时，再把同样逻辑迁移到脚本、监控或产品流程中。
查看可用于决策的信号
结果突出状态、风险、记录和下一步行动，而不是原始供应商噪声。
自动化行之有效的工作流
使用请求和响应示例，把一次性检查变成 API 调用或组合流程。
被这些公司的人员使用
此工具帮助你做出的判断
每个页面都围绕实际运营问题设计，而不只是原始查询。
查看当前 DNS、注册、安全、价格或信誉证据。
将结果与相关检查对比，让下一步更可信。
复制示例、打开关联工具，或在需要规模化时进入 API 文档。
集成前可见的信任信号
透明文档、已认证请求和清晰的可靠性信息，让你在上线前更容易评估 DomScan。
服务状态
API 资料
OpenAPI、Swagger、Postman、CLI、SDK 和 MCP 文档链接一键可达。
API 密钥
受保护访问
认证端点使用 API 密钥，并在调用前清楚显示积分成本。
免费额度
免费注册
从每月 10,000 积分开始，只有在用量增长时再升级。
活跃
请求示例
从 curl 和 HTTP 示例开始，再把参数映射到你的应用代码。
主要功能
RFC 9309 解析
分组、allow 与 disallow 规则、通配符和结束锚点均按标准描述匹配，最长的规则优先生效。
AI 爬虫矩阵
显示 14 个 AI 爬虫对根路径的访问权限，涵盖 OpenAI、Anthropic、Google、Perplexity 等的训练、搜索和用户发起的代理。
如实呈现未知状态
如果因屏蔽、超时或服务器错误而无法获取文件，结果就是未知，绝不会悄悄当作允许。
请求示例
GET /v1/robots?url=example.comGET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/构建在同一套 API 之上
浏览器体验预览 DomScan 的结构化端点，帮助团队在写代码前验证用例。
常见问题解答
网站没有 robots.txt 会怎样？
返回 404 或 410 表示没有抓取限制，所有路径均被允许。检查器会将其报告为未找到。
如何屏蔽 AI 爬虫？
为每个爬虫添加一个 user-agent 分组，例如 GPTBot 或 ClaudeBot，并设置 Disallow 规则。AI 爬虫表会显示您当前的规则已覆盖哪些机器人。
robots.txt 能阻止所有机器人吗？
不能。robots.txt 只是守规矩的爬虫会遵循的请求，并不强制执行访问控制，因此私密内容需要身份验证。