输入域名、URL、IP、邮箱或记录,无需配置即可获得聚焦结果。
robots.txt 测试工具
检查爬虫是否可以访问您的 URL。您可以使用网站线上的 robots.txt,或在发布前粘贴草稿,一次针对多个用户代理测试最多100个 URL。
先运行检查,再交付工作流
先用浏览器工具快速得到答案;当流程需要重复使用时,再把同样逻辑迁移到脚本、监控或产品流程中。
结果突出状态、风险、记录和下一步行动,而不是原始供应商噪声。
使用请求和响应示例,把一次性检查变成 API 调用或组合流程。
被这些公司的人员使用
此工具帮助你做出的判断
每个页面都围绕实际运营问题设计,而不只是原始查询。
查看当前 DNS、注册、安全、价格或信誉证据。
将结果与相关检查对比,让下一步更可信。
复制示例、打开关联工具,或在需要规模化时进入 API 文档。
集成前可见的信任信号
透明文档、已认证请求和清晰的可靠性信息,让你在上线前更容易评估 DomScan。
OpenAPI、Swagger、Postman、CLI、SDK 和 MCP 文档链接一键可达。
认证端点使用 API 密钥,并在调用前清楚显示积分成本。
从每月 10,000 积分开始,只有在用量增长时再升级。
从 curl 和 HTTP 示例开始,再把参数映射到你的应用代码。
主要功能
粘贴 robots.txt,即可查看它如何处理您的 URL,无需改动网站上的任何内容。
一次检查最多100个 URL 和10个用户代理,并为每种组合给出判定结果。
每个判定都会显示匹配的 Allow 或 Disallow 规则及其行号,遵循官方 robots.txt 标准。
请求示例
{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}
构建在同一套 API 之上
浏览器体验预览 DomScan 的结构化端点,帮助团队在写代码前验证用例。
常见问题解答
可以。将内容粘贴到 robots.txt 输入框中,不会从您的网站获取任何内容。留空则测试当前线上的文件。
可以。像 Googlebot 发送的那种完整字符串会被精简为爬虫名称,而 robots.txt 规则匹配的正是这个名称。
无法读取线上的 robots.txt,例如网站拦截了请求或请求超时。“未知”绝不会被视为允许,并且本次检查的额度会退还。

