Web 数据 · DomScan 产品

网页抓取 API 参考

以 HTML、Markdown、适合 LLM 的文本或纯文本形式获取公开网页和文档,可逐页获取、批量获取或抓取整个站点。

你将获得什么

以 HTML、Markdown、适合 LLM 的文本或纯文本形式获取公开网页和文档,可逐页获取、批量获取或抓取整个站点。

同步异步RESTMCPSDK

适合选择此产品的场景

适用对象

当产品或工作流需要结构化响应中的当前公开页面证据时,使用专用 API。

适合选择此产品的场景

需要从公开页面、PDF 或电子表格中获取干净的 HTML、文本或 Markdown 时选择,从单个页面到整个站点均可。仅在支持且确有必要时使用渲染或异步收集。

你将获得什么

以 HTML、Markdown、适合 LLM 的文本或纯文本形式获取公开网页和文档,可逐页获取、批量获取或抓取整个站点。

端点

集成之前,先了解每个端点接受和返回的内容、支持的模式及其限制。

POST /v1/scrape 查看 API 参考
POST /v1/scrape/jobs 查看 API 参考
GET /v1/scrape/jobs/:job_id 查看 API 参考
GET /v1/scrape/jobs/:job_id/results 查看 API 参考
POST /v1/crawl/jobs 查看 API 参考
GET /v1/crawl/jobs/:job_id 查看 API 参考
GET /v1/crawl/jobs/:job_id/results 查看 API 参考

积分和身份验证

0-20 需要身份验证。确切费用(包括按项目计价的部分)请参阅 API 参考。

操作示例

使用文档化的操作来收集、评估、补充、验证、比较、保护或监测公开证据。

POST /v1/scrape 积分: 1-20/item

正文参数

参数 类型 必需
url string 必需
mode string
允许的值 standardresilientrenderedrendered_resilient
默认值 standard
可选
output string
允许的值 htmltextmarkdownllm
默认值 html
可选
only_main_content boolean
默认值 false
可选
include_selectors string[] 可选
exclude_selectors string[] 可选
links boolean
默认值 false
可选
headers object 可选
cookies object 可选

响应字段

字段 类型
data object
data.url string
data.final_url string
data.status integer | null
data.outcome string
data.content_type string | null
data.content string
data.bytes integer
data.truncated boolean
data.redirect_count integer
data.attempt_count integer
data.duration_ms integer
data.fetched_at string
data.headers object
data.rendered boolean
data.links[] object[]
data.links[] object
data.links[].url string
data.links[].text string
data.document object
data.document.kind string
data.document.title string | null
data.document.pages integer | null
data.document.sheets[] string[]
data.document.truncated boolean
data.document.error string
data.depth integer
data.forwarded object
data.forwarded.header_names[] string[]
data.forwarded.cookie_names[] string[]
data.forwarded.scope string
billing object
billing.credits_charged integer
billing.credits_refunded integer
billing.credits_per_item integer
billing.credits_net integer
billing.policy string

请求示例

curl -X POST "https://domscan.net/v1/scrape" \
  -H "Content-Type: application/json" \
  -H "X-API-Key: $DOMSCAN_API_KEY" \
  -d '{
  "url": "https://example.com/",
  "mode": "standard",
  "output": "markdown"
}'
const response = await fetch("https://domscan.net/v1/scrape", {
  method: "POST",
  headers: { "X-API-Key": process.env.DOMSCAN_API_KEY, "Content-Type": "application/json" },
  body: JSON.stringify({
    "url": "https://example.com/",
    "mode": "standard",
    "output": "markdown"
  }),
});
const data = await response.json();
console.log(data);
import os
import requests

response = requests.post(
    "https://domscan.net/v1/scrape",
    headers={"X-API-Key": os.environ["DOMSCAN_API_KEY"]},
    json={
        "url": "https://example.com/",
        "mode": "standard",
        "output": "markdown",
    },
)
print(response.json())
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strings"
)

func main() {
	body := strings.NewReader(`{
	  "url": "https://example.com/",
	  "mode": "standard",
	  "output": "markdown"
	}`)
	req, err := http.NewRequest(http.MethodPost, "https://domscan.net/v1/scrape", body)
	if err != nil {
		panic(err)
	}
	req.Header.Set("X-API-Key", os.Getenv("DOMSCAN_API_KEY"))
	req.Header.Set("Content-Type", "application/json")

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()

	data, err := io.ReadAll(resp.Body)
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Status, string(data))
}
require "json"
require "net/http"

uri = URI("https://domscan.net/v1/scrape")
request = Net::HTTP::Post.new(uri)
request["X-API-Key"] = ENV.fetch("DOMSCAN_API_KEY")
request["Content-Type"] = "application/json"
request.body = JSON.generate({
  "url" => "https://example.com/",
  "mode" => "standard",
  "output" => "markdown"
})

response = Net::HTTP.start(uri.hostname, uri.port, use_ssl: true) do |http|
  http.request(request)
end
puts JSON.pretty_generate(JSON.parse(response.body))

响应示例

{
  "data": {
    "url": "https://example.com",
    "final_url": "https://example.com",
    "status": 1,
    "outcome": "success",
    "content_type": "domain",
    "content": "example",
    "bytes": 1,
    "truncated": false,
    "redirect_count": 1,
    "attempt_count": 1,
    "duration_ms": 1,
    "fetched_at": "2026-08-27T12:00:00Z",
    "headers": {},
    "rendered": false,
    "links": [
      {
        "url": "https://example.com",
        "text": "example"
      }
    ],
    "document": {
      "kind": "pdf",
      "title": "example",
      "pages": 1,
      "sheets": [
        "example"
      ],
      "truncated": false,
      "error": "DOCUMENT_UNREADABLE"
    },
    "depth": 1,
    "forwarded": {
      "header_names": [
        "example"
      ],
      "cookie_names": [
        "example"
      ],
      "scope": "requested_origin"
    }
  },
  "billing": {
    "credits_charged": 1,
    "credits_refunded": 1,
    "credits_per_item": 1,
    "credits_net": 1,
    "policy": "effort_based"
  }
}

HTTP 状态码

  • 200 成功
  • 400 请求错误
  • 401 未授权
  • 402 需要付款
  • 403 禁止访问
  • 409 HTTP 409
  • 422 HTTP 422
  • 429 请求过多
  • 503 服务不可用

常见问题

在哪里可以找到 网页抓取 的请求和响应参考?

使用 网页抓取 的 API 参考来查看参数、响应字段、示例、状态码和支持的操作模式。

应如何解读 网页抓取 返回的未知或不完整结果?

“未知”或“部分”表示我们无法完全确认结果。请在据此采取行动时,留意状态、置信度、时效性和任何限制。

网页抓取 如何计费?

价格取决于检查类型和您选择的模式。API 参考会显示当前的积分消耗、是否需要 API 密钥以及按项目计价的信息。

被这些公司的人员使用

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse