Web 数据 · DomScan 产品

网页抓取 API 参考

以 HTML、Markdown 或文本形式获取公开网页,支持同步和异步选项。

你将获得什么

以 HTML、Markdown 或文本形式获取公开网页,支持同步和异步选项。

同步异步RESTMCPSDK

适合选择此产品的场景

适用对象

当产品或工作流需要结构化响应中的当前公开页面证据时,使用专用 API。

适合选择此产品的场景

需要从公开页面获取 HTML、文本或 Markdown 时选择。仅在支持且确有必要时使用渲染或异步收集。

你将获得什么

以 HTML、Markdown 或文本形式获取公开网页,支持同步和异步选项。

端点

集成前,请查看支持的操作、输入、输出、执行模式和响应限制。

POST /v1/scrape 查看 API 参考
POST /v1/scrape/jobs 查看 API 参考
GET /v1/scrape/jobs/:job_id 查看 API 参考
GET /v1/scrape/jobs/:job_id/results 查看 API 参考

积分和身份验证

0-20 需要身份验证。有关确切费用和按项计费,请查看操作参考。

操作示例

使用文档化的操作来收集、评估、补充、验证、比较、保护或监测公开证据。

POST /v1/scrape

正文参数

参数 类型 必需
url string 必需
mode string
允许的值 standardresilientrenderedrendered_resilient
默认值 standard
可选
output string
允许的值 htmltextmarkdown
默认值 html
可选

响应字段

字段 类型
data object
data.url string
data.final_url string
data.status integer | null
data.outcome string
data.content_type string | null
data.content string
data.bytes integer
data.truncated boolean
data.redirect_count integer
data.attempt_count integer
data.duration_ms integer
data.fetched_at string
data.headers object
data.rendered boolean
billing object
billing.credits_charged integer
billing.credits_refunded integer
billing.credits_per_item integer
billing.credits_net integer
billing.policy string

请求示例

curl -X POST "https://domscan.net/v1/scrape" \
  -H "Content-Type: application/json" \
  -H "X-API-Key: $DOMSCAN_API_KEY" \
  -d '{
  "url": "https://example.com/",
  "mode": "standard",
  "output": "markdown"
}'

响应示例

{
  "data": {
    "url": "https://example.com",
    "final_url": "https://example.com",
    "status": 1,
    "outcome": "success",
    "content_type": "domain",
    "content": "example",
    "bytes": 1,
    "truncated": false,
    "redirect_count": 1,
    "attempt_count": 1,
    "duration_ms": 1,
    "fetched_at": "2026-08-27T12:00:00Z",
    "headers": {},
    "rendered": false
  },
  "billing": {
    "credits_charged": 1,
    "credits_refunded": 1,
    "credits_per_item": 1,
    "credits_net": 1,
    "policy": "effort_based"
  }
}

限制和证据边界

产品仅评估公开输入和可公开观测的证据。
覆盖范围受文档化输入、预算、来源和响应限制约束。
异步作业会返回一个标识符,用于轮询状态并在之后获取结果。
批量操作会处理多个受支持的输入,同时保留文档化的逐项结果。
部分表示部分请求项目或组件已完成,而其他项目或组件未完成。
已缓存表示使用了存储的证据;如有新鲜度元数据,请一并查看。

审核日期:2026-08-22

常见问题

在哪里可以找到 网页抓取 的请求和响应参考?

使用 网页抓取 的 API 参考来查看参数、响应字段、示例、状态码和支持的操作模式。

应如何解读 网页抓取 返回的未知或不完整结果?

未知或部分结果表示无法完全确定所请求的证据。在后续决策中保留结果状态、置信度、新鲜度和限制信息。

网页抓取 如何计费?

费用取决于操作和执行模式。有关当前积分费用、身份验证要求和按项规则,请查看端点参考。

被出色公司的人们使用

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeMotionElementsLLM Pulse