面向开发者、研究人员和智能体构建者
当产品或工作流需要结构化响应中的当前公开页面证据时,使用专用 API。
尝试搜索产品、目标、端点路径或 API 主题。
当产品或工作流需要结构化响应中的当前公开页面证据时,使用专用 API。
收集内容用于分析,在跟随前追踪目标,或为已知页面补充技术和类别上下文。
页面内容使用 Scrape。仅当上下文会改变决策时,才添加 Redirects、Technology Detection、Website Categorization 或 URL Intelligence。
以 HTML、Markdown 或文本形式获取公开网页,支持同步和异步选项。
适用场景: 需要从公开页面获取 HTML、文本或 Markdown 时选择。仅在支持且确有必要时使用渲染或异步收集。
追踪 URL 的完整重定向链。
适用场景: 当目标和重定向链比页面正文更重要时选择。
检测网站使用的技术栈,包括 CMS、框架和服务。
适用场景: 需要暴露的框架、平台、分析工具或基础设施技术证据时选择。
解析 robots.txt,测试任意爬虫和路径,并查看哪些 AI 爬虫被屏蔽。
适用场景: 需要读取网站的 robots.txt、测试爬虫是否可以抓取某个路径,并查看哪些 AI 爬虫被允许或被阻止时选择。
查找并审计 XML 站点地图,包括 URL 数量、lastmod 时效和协议问题。
适用场景: 需要查找网站的 XML 站点地图,并在固定的文件数量上限内检查 URL 数量、lastmod 时效和协议问题时选择。
审计标题、meta 标签、标题层级、链接、图片和结构化数据,并给出 SEO 评分。
适用场景: 选择它来审计单个页面的页面 SEO,从 meta 标签和标题层级到链接、图片和结构化数据,可选择是否进行 JavaScript 渲染。
对比原始与渲染后的 HTML,查看哪些 SEO 信号依赖 JavaScript。
适用场景: 选择它,通过对比页面的原始 HTML 与渲染后 HTML,查看哪些 SEO 信号仅在 JavaScript 运行后才存在。
提取并验证 JSON-LD、Microdata 和 RDFa 形式的 schema.org 标记。
适用场景: 选择它来提取页面中的 JSON-LD、Microdata 和 RDFa,并根据常见富媒体搜索结果类型的 schema.org 规则进行检查。
找出页面上出现频率最高的关键词和短语及其密度百分比。
适用场景: 选择它来衡量页面上词语和短语的频率,并检查目标关键词出现的位置。
列出页面链接,并通过有限次数的状态检查找出失效链接。
适用场景: 选择它来列出页面上的链接并找出失效链接,被拦截的检查会保持为 unknown。
验证 hreflang 代码、x-default、自我引用和回链。
适用场景: 选择它来验证页面的 hreflang 标签,并确认备用语言页面是否链接回来。
针对粘贴的或线上的 robots.txt,测试大量 URL 和爬虫。
适用场景: 如果想针对粘贴的或线上的 robots.txt,一次测试大量 URL 和爬虫,请选择此项。
验证 ads.txt 和 app-ads.txt 记录,并对照 sellers.json 确认销售方。
适用场景: 需要验证网站的 ads.txt 或 app-ads.txt,并对照 sellers.json 确认授权销售方时,请选择此项。
比较页面之间的重复内容、标题和 meta 描述。
适用场景: 需要比较最多 10 个页面的重复内容,以及重复的标题、meta 描述和 H1 时,请选择此项。
最多抓取 50 个页面,查找失效链接、重复内容和页面 SEO 问题。
适用场景: 需要抓取网站最多 50 个页面,并在一份报告中查看失效链接、重复内容和页面 SEO 问题时,请选择此项。
在桌面或移动端将任意页面截取为图片或 PDF。
适用场景: 需要在桌面或移动端将页面截取为 PNG、JPEG、WebP 或 PDF 时,请选择此项。
运行自动化 WCAG 审计,获得违规项、受影响的元素和评分。
适用场景: 需要对页面运行自动化 WCAG 审计,并查看按影响程度分类的违规项和受影响的元素时,请选择此项。
列出同意前出现的 Cookie、跟踪器和同意管理平台。
适用场景: 需要查看页面在任何同意之前加载的 Cookie、跟踪器和同意管理平台时,请选择此项。
测量页面字节数、请求数、第三方和加载耗时。
适用场景: 需要测量页面的字节数、请求数、第三方、阻塞渲染的资源和耗时时,请选择此项。
按行业、内容类型和主题对网站进行分类。
适用场景: 需要用于路由、研究或审查的宽泛内容或业务类别时选择。
从 URL 提取规范化页面元数据、预览字段、结构化数据和公开身份信号。
适用场景: 在深入收集前需要规范化 URL 结构和面向风险的 URL 信号时选择。
检查 URL,以 Markdown 收集页面,然后添加智能体任务所需的类别或技术证据。
检查 URL,以 Markdown 收集页面,然后添加智能体任务所需的类别或技术证据。
收集代表性页面,解析最终目标,并将内容与网站类别和暴露的技术信号结合。
使用 Markdown 输出将公开 URL 提交到 POST /v1/scrape。先使用 standard 模式,页面需要 JavaScript 时再选择渲染。
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}
同步抓取一个页面,或将 1 到 100 个公开 URL 提交到付费异步 Scrape 任务。Technology Detection 也支持产品专属的批处理和任务路径。
收集受重定向、响应大小、并发和处理模式限制。不承诺能够访问每个页面。