Web 数据

收集可用的公开 Web 内容及其上下文

从 URL 获取可读内容、最终目标、可见技术、类别和 URL 级别信号。

面向开发者、研究人员和智能体构建者

当产品或工作流需要结构化响应中的当前公开页面证据时,使用专用 API。

从所需输出开始

收集内容用于分析,在跟随前追踪目标,或为已知页面补充技术和类别上下文。

输入

URL域名

结果

收集评估发现丰富验证比较

选择能够回答问题的最窄产品

页面内容使用 Scrape。仅当上下文会改变决策时,才添加 Redirects、Technology Detection、Website Categorization 或 URL Intelligence。

网页抓取

以 HTML、Markdown 或文本形式获取公开网页,支持同步和异步选项。

适用场景: 需要从公开页面获取 HTML、文本或 Markdown 时选择。仅在支持且确有必要时使用渲染或异步收集。

输入
URL
结果
收集
额度
0-20
同步异步RESTMCPSDK

重定向链

追踪 URL 的完整重定向链。

适用场景: 当目标和重定向链比页面正文更重要时选择。

输入
URL, 域名
结果
收集, 评估
额度
2
同步RESTMCPSDK交互式工具

技术栈检测

检测网站使用的技术栈,包括 CMS、框架和服务。

适用场景: 需要暴露的框架、平台、分析工具或基础设施技术证据时选择。

输入
URL, 域名
结果
发现, 丰富, 评估
额度
0-9
同步批量异步RESTMCPSDK交互式工具

robots.txt API

解析 robots.txt,测试任意爬虫和路径,并查看哪些 AI 爬虫被屏蔽。

适用场景: 需要读取网站的 robots.txt、测试爬虫是否可以抓取某个路径,并查看哪些 AI 爬虫被允许或被阻止时选择。

输入
URL, 域名
结果
验证, 评估
额度
1
同步RESTMCPSDK交互式工具

XML 站点地图审计 API

查找并审计 XML 站点地图,包括 URL 数量、lastmod 时效和协议问题。

适用场景: 需要查找网站的 XML 站点地图,并在固定的文件数量上限内检查 URL 数量、lastmod 时效和协议问题时选择。

输入
URL, 域名
结果
发现, 验证, 评估
额度
2
同步RESTMCPSDK交互式工具

页面 SEO 审计 API

审计标题、meta 标签、标题层级、链接、图片和结构化数据,并给出 SEO 评分。

适用场景: 选择它来审计单个页面的页面 SEO,从 meta 标签和标题层级到链接、图片和结构化数据,可选择是否进行 JavaScript 渲染。

输入
URL, 域名
结果
验证, 评估
额度
2-6
同步RESTMCPSDK交互式工具

JavaScript SEO 渲染检查 API

对比原始与渲染后的 HTML,查看哪些 SEO 信号依赖 JavaScript。

适用场景: 选择它,通过对比页面的原始 HTML 与渲染后 HTML,查看哪些 SEO 信号仅在 JavaScript 运行后才存在。

输入
URL, 域名
结果
比较, 评估
额度
7
同步RESTMCPSDK交互式工具

结构化数据验证 API

提取并验证 JSON-LD、Microdata 和 RDFa 形式的 schema.org 标记。

适用场景: 选择它来提取页面中的 JSON-LD、Microdata 和 RDFa,并根据常见富媒体搜索结果类型的 schema.org 规则进行检查。

输入
URL, 域名
结果
验证, 评估
额度
2-6
同步RESTMCPSDK交互式工具

关键词密度 API

找出页面上出现频率最高的关键词和短语及其密度百分比。

适用场景: 选择它来衡量页面上词语和短语的频率,并检查目标关键词出现的位置。

输入
URL, 域名
结果
评估
额度
2-6
同步RESTMCPSDK交互式工具

页面链接和失效链接检查 API

列出页面链接,并通过有限次数的状态检查找出失效链接。

适用场景: 选择它来列出页面上的链接并找出失效链接,被拦截的检查会保持为 unknown。

输入
URL, 域名
结果
发现, 验证
额度
2-6
同步RESTMCPSDK交互式工具

Hreflang 验证 API

验证 hreflang 代码、x-default、自我引用和回链。

适用场景: 选择它来验证页面的 hreflang 标签,并确认备用语言页面是否链接回来。

输入
URL, 域名
结果
验证, 评估
额度
3
同步RESTMCPSDK交互式工具

robots.txt 测试工具 API

针对粘贴的或线上的 robots.txt,测试大量 URL 和爬虫。

适用场景: 如果想针对粘贴的或线上的 robots.txt,一次测试大量 URL 和爬虫,请选择此项。

输入
URL, 域名
结果
验证, 评估
额度
1
同步RESTMCPSDK交互式工具

ads.txt 和 sellers.json 验证 API

验证 ads.txt 和 app-ads.txt 记录,并对照 sellers.json 确认销售方。

适用场景: 需要验证网站的 ads.txt 或 app-ads.txt,并对照 sellers.json 确认授权销售方时,请选择此项。

输入
URL, 域名
结果
验证, 评估
额度
2-5
同步RESTMCPSDK交互式工具

重复内容检查 API

比较页面之间的重复内容、标题和 meta 描述。

适用场景: 需要比较最多 10 个页面的重复内容,以及重复的标题、meta 描述和 H1 时,请选择此项。

输入
URL, 域名
结果
比较, 评估
额度
5
同步RESTMCPSDK交互式工具

网站审计与 SEO 爬虫 API

最多抓取 50 个页面,查找失效链接、重复内容和页面 SEO 问题。

适用场景: 需要抓取网站最多 50 个页面,并在一份报告中查看失效链接、重复内容和页面 SEO 问题时,请选择此项。

输入
URL, 域名
结果
发现, 评估
额度
10-35
同步RESTMCPSDK交互式工具

网站截图 API

在桌面或移动端将任意页面截取为图片或 PDF。

适用场景: 需要在桌面或移动端将页面截取为 PNG、JPEG、WebP 或 PDF 时,请选择此项。

输入
URL, 域名
结果
发现, 验证
额度
10
同步RESTMCPSDK交互式工具

无障碍审计 API

运行自动化 WCAG 审计,获得违规项、受影响的元素和评分。

适用场景: 需要对页面运行自动化 WCAG 审计,并查看按影响程度分类的违规项和受影响的元素时,请选择此项。

输入
URL, 域名
结果
验证, 评估
额度
8
同步RESTMCPSDK交互式工具

Cookie 与跟踪器扫描 API

列出同意前出现的 Cookie、跟踪器和同意管理平台。

适用场景: 需要查看页面在任何同意之前加载的 Cookie、跟踪器和同意管理平台时,请选择此项。

输入
URL, 域名
结果
发现, 评估
额度
8
同步RESTMCPSDK交互式工具

页面体积与资源 API

测量页面字节数、请求数、第三方和加载耗时。

适用场景: 需要测量页面的字节数、请求数、第三方、阻塞渲染的资源和耗时时,请选择此项。

输入
URL, 域名
结果
评估
额度
6
同步RESTMCPSDK交互式工具

网站分类

按行业、内容类型和主题对网站进行分类。

适用场景: 需要用于路由、研究或审查的宽泛内容或业务类别时选择。

输入
URL, 域名
结果
丰富, 评估
额度
0-3
同步批量RESTMCPSDK交互式工具

统一 URL 情报

从 URL 提取规范化页面元数据、预览字段、结构化数据和公开身份信号。

适用场景: 在深入收集前需要规范化 URL 结构和面向风险的 URL 信号时选择。

输入
URL
结果
收集, 丰富
额度
2
同步批量RESTMCPSDK

工作流

检查 URL,以 Markdown 收集页面,然后添加智能体任务所需的类别或技术证据。

从页面到适用于智能体的上下文

检查 URL,以 Markdown 收集页面,然后添加智能体任务所需的类别或技术证据。

网站研究快照

收集代表性页面,解析最终目标,并将内容与网站类别和暴露的技术信号结合。

将一个公开页面收集为 Markdown

使用 Markdown 输出将公开 URL 提交到 POST /v1/scrape。先使用 standard 模式,页面需要 JavaScript 时再选择渲染。

请求示例
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'
响应示例
{
  "data": {
    "url": "https://example.com",
    "outcome": "success",
    "content": "# Example Domain",
    "truncated": false
  },
  "billing": { "credits_charged": 1, "credits_refunded": 0 }
}

先使用同步模式,负载需要时再使用任务

同步抓取一个页面,或将 1 到 100 个公开 URL 提交到付费异步 Scrape 任务。Technology Detection 也支持产品专属的批处理和任务路径。

同步批量异步RESTMCPSDK交互式工具

有范围限制的公开页面收集

收集受重定向、响应大小、并发和处理模式限制。不承诺能够访问每个页面。

从一个页面开始,只添加所需上下文

查看五个 Web 数据产品,或从文档发起首次 Scrape 请求。