Web 数据

重复内容检查 API

一次请求比较 2 到 10 个页面。基于主要内容获得每对页面的相似度评分、近似重复页面的分组,以及重复的标题、meta 描述和 H1。

分类 Web 数据
API 端点 1
主要功能 4
常见问题解答 4

被这些公司的人员使用

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse

集成前可见的信任信号

透明文档、已认证请求和清晰的可靠性信息,让你在上线前更容易评估 DomScan。

实时 服务状态

集成前,请先查看实时服务运行状况和文档中说明的失败响应。

OpenAPI API 资料

OpenAPI、Swagger、Postman、CLI、SDK 和 MCP 文档链接一键可达。

API 密钥 受保护访问

认证端点使用 API 密钥,并在调用前清楚显示积分成本。

10,000 免费额度

从每月 10,000 积分开始,只有在用量增长时再升级。

这个 API 可以帮你交付什么

把此页面当作生产集成简报:端点、示例、响应结构,以及把 DomScan 接入产品所需的工作流组件。

产品工作流

把域名检查、DNS 情报、风险信号或数据增强嵌入注册、搜索和内部工具。

分析自动化

用计划任务、告警和可复现的调查步骤替代重复的人工查询。

干净的 JSON 数据

使用可预测字段、已记录的状态码和积分成本,而不是抓取供应商页面。

AI 和运维工具

通过 OpenAPI、SDK、Postman 或 MCP 为代理、仪表板、SOAR 剧本和 CRM 提供数据。

集成流程

从第一次请求到可重复生产使用的简单路径。

1
一次认证

使用文档中的请求头发送 API 密钥,并在服务之间保持请求一致。

2
用示例查询

从 curl 和 HTTP 示例开始,再把参数映射到你的应用代码。

3
运行和监控

使用状态码、积分成本和响应字段构建重试、日志和告警。

开发者工具包

从此页面跳转到机器可读文档、请求集合、SDK 或代理工具。

参数和响应映射

在把端点接入客户端前,快速查看输入、输出字段和状态码。

请求参数

参数

urls
响应字段

响应示例

statuspairsclustersduplicatesduplicates.titlesduplicates.meta_descriptionsduplicates.h1
状态覆盖

HTTP 状态码

200400401402429

API 端点

GET /v1/duplicate-content
积分: 5身份验证: 需要身份验证

集成前可见的信任信号

透明文档、已认证请求和清晰的可靠性信息,让你在上线前更容易评估 DomScan。

服务状态 API 资料

OpenAPI、Swagger、Postman、CLI、SDK 和 MCP 文档链接一键可达。

API 密钥 受保护访问

认证端点使用 API 密钥,并在调用前清楚显示积分成本。

免费额度 免费注册

从每月 10,000 积分开始,只有在用量增长时再升级。

活跃 请求示例

从 curl 和 HTTP 示例开始,再把参数映射到你的应用代码。

主要功能

仅比较主要内容

比较前会移除页眉、导航、页脚、侧边栏和表单,因此共用的模板不会拉高评分。

相似度与包含度

相似度衡量两个页面之间的重叠程度;包含度显示较短页面的内容有多少出现在较长页面中。

识别 canonical

如果一个页面已将另一个页面声明为 canonical,该页面对会被标记,方便您专注于尚未解决的重复。

元数据重复

重复的标题、meta 描述和 H1 会与共用它们的 URL 归为一组。

请求示例

GET /v1/duplicate-content?urls=example.com/a,example.com/b,example.com/c bash
curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/duplicate-content?urls=example.com/a,example.com/b,example.com/c"

响应示例

200 OK json
{
  "status": "ok",
  "pairs": [
    { "a": "https://example.com/a", "b": "https://example.com/b", "similarity": 0.91, "containment": 0.96, "near_duplicate": true, "canonicalized": false }
  ],
  "clusters": [["https://example.com/a", "https://example.com/b"]],
  "duplicates": {
    "titles": [{ "value": "trail running shoes", "urls": ["https://example.com/a", "https://example.com/b"] }],
    "meta_descriptions": [],
    "h1": []
  }
}

常见问题解答

两个页面在什么情况下算近似重复?

当相似度达到 0.8 或更高时。超过这一水平的页面通常会在搜索中相互竞争。

相似度是如何计算的?

每个页面的主要文本会被拆分为相互重叠的五词序列,评分即两个页面共有序列所占的比例。

如果某个页面无法读取会怎样?

该页面会连同原因一起列出,并被排除在所有比较之外。如果可读取的页面少于两个,结果为未知,并会退还积分。

需要消耗多少积分?

每次请求 5 积分,最多支持 10 个 URL。

相关工具和资源

HTTP 状态码

我们明确列出了客户端应处理的 HTTP 状态码,帮助你区分成功响应、认证问题、额度不足、速率限制、数据不存在以及上游故障。

成功 200

请求成功

请求错误 400

参数无效

未授权 401

API 密钥或会话缺失或无效。

需要付款 402

没有足够额度来执行此请求。

请求过多 429

超出速率限制