ウェブデータ · DomScan製品

ウェブスクレイピング APIリファレンス

公開ウェブページやドキュメントを、HTML、Markdown、LLM向けテキスト、プレーンテキストとして取得します。1ページずつ、バッチ処理、サイト全体のクロールのいずれにも対応しています。

得られるもの

公開ウェブページやドキュメントを、HTML、Markdown、LLM向けテキスト、プレーンテキストとして取得します。1ページずつ、バッチ処理、サイト全体のクロールのいずれにも対応しています。

同期非同期RESTMCPSDK

この製品を選ぶ場面

対象ユーザー

製品やワークフローで最新の公開ページ証拠を構造化レスポンスとして必要とするときに、焦点化されたAPIを使います。

この製品を選ぶ場面

公開ページ、PDF、スプレッドシートから、クリーンなHTML、テキスト、Markdownが必要なときに選びます。1ページからサイト全体まで対応し、レンダリングや非同期収集は対応していて必要な場合だけ使います。

得られるもの

公開ウェブページやドキュメントを、HTML、Markdown、LLM向けテキスト、プレーンテキストとして取得します。1ページずつ、バッチ処理、サイト全体のクロールのいずれにも対応しています。

エンドポイント

統合する前に、各エンドポイントが受け付ける内容、返す内容、モード、制限を確認できます。

POST /v1/scrape/jobs APIリファレンスを見る
GET /v1/scrape/jobs/:job_id APIリファレンスを見る
GET /v1/scrape/jobs/:job_id/results APIリファレンスを見る
POST /v1/crawl/jobs APIリファレンスを見る
GET /v1/crawl/jobs/:job_id APIリファレンスを見る
GET /v1/crawl/jobs/:job_id/results APIリファレンスを見る

クレジットと認証

0-20 認証が必要。個別の項目ごとの料金を含む正確な費用は、APIリファレンスをご覧ください。

操作例

文書化された操作を使って、公開証拠を収集、評価、補足、検証、比較、保護、監視します。

POST /v1/scrape クレジット: 1-20/item

ボディパラメータ

パラメータ タイプ 必須
url string 必須
mode string
許可された値 standardresilientrenderedrendered_resilient
デフォルト standard
オプション
output string
許可された値 htmltextmarkdownllm
デフォルト html
オプション
only_main_content boolean
デフォルト false
オプション
include_selectors string[] オプション
exclude_selectors string[] オプション
links boolean
デフォルト false
オプション
headers object オプション
cookies object オプション

レスポンスフィールド

フィールド タイプ
data object
data.url string
data.final_url string
data.status integer | null
data.outcome string
data.content_type string | null
data.content string
data.bytes integer
data.truncated boolean
data.redirect_count integer
data.attempt_count integer
data.duration_ms integer
data.fetched_at string
data.headers object
data.rendered boolean
data.links[] object[]
data.links[] object
data.links[].url string
data.links[].text string
data.document object
data.document.kind string
data.document.title string | null
data.document.pages integer | null
data.document.sheets[] string[]
data.document.truncated boolean
data.document.error string
data.depth integer
data.forwarded object
data.forwarded.header_names[] string[]
data.forwarded.cookie_names[] string[]
data.forwarded.scope string
billing object
billing.credits_charged integer
billing.credits_refunded integer
billing.credits_per_item integer
billing.credits_net integer
billing.policy string

リクエスト例

curl -X POST "https://domscan.net/v1/scrape" \
  -H "Content-Type: application/json" \
  -H "X-API-Key: $DOMSCAN_API_KEY" \
  -d '{
  "url": "https://example.com/",
  "mode": "standard",
  "output": "markdown"
}'
const response = await fetch("https://domscan.net/v1/scrape", {
  method: "POST",
  headers: { "X-API-Key": process.env.DOMSCAN_API_KEY, "Content-Type": "application/json" },
  body: JSON.stringify({
    "url": "https://example.com/",
    "mode": "standard",
    "output": "markdown"
  }),
});
const data = await response.json();
console.log(data);
import os
import requests

response = requests.post(
    "https://domscan.net/v1/scrape",
    headers={"X-API-Key": os.environ["DOMSCAN_API_KEY"]},
    json={
        "url": "https://example.com/",
        "mode": "standard",
        "output": "markdown",
    },
)
print(response.json())
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strings"
)

func main() {
	body := strings.NewReader(`{
	  "url": "https://example.com/",
	  "mode": "standard",
	  "output": "markdown"
	}`)
	req, err := http.NewRequest(http.MethodPost, "https://domscan.net/v1/scrape", body)
	if err != nil {
		panic(err)
	}
	req.Header.Set("X-API-Key", os.Getenv("DOMSCAN_API_KEY"))
	req.Header.Set("Content-Type", "application/json")

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()

	data, err := io.ReadAll(resp.Body)
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Status, string(data))
}
require "json"
require "net/http"

uri = URI("https://domscan.net/v1/scrape")
request = Net::HTTP::Post.new(uri)
request["X-API-Key"] = ENV.fetch("DOMSCAN_API_KEY")
request["Content-Type"] = "application/json"
request.body = JSON.generate({
  "url" => "https://example.com/",
  "mode" => "standard",
  "output" => "markdown"
})

response = Net::HTTP.start(uri.hostname, uri.port, use_ssl: true) do |http|
  http.request(request)
end
puts JSON.pretty_generate(JSON.parse(response.body))

レスポンス例

{
  "data": {
    "url": "https://example.com",
    "final_url": "https://example.com",
    "status": 1,
    "outcome": "success",
    "content_type": "domain",
    "content": "example",
    "bytes": 1,
    "truncated": false,
    "redirect_count": 1,
    "attempt_count": 1,
    "duration_ms": 1,
    "fetched_at": "2026-08-27T12:00:00Z",
    "headers": {},
    "rendered": false,
    "links": [
      {
        "url": "https://example.com",
        "text": "example"
      }
    ],
    "document": {
      "kind": "pdf",
      "title": "example",
      "pages": 1,
      "sheets": [
        "example"
      ],
      "truncated": false,
      "error": "DOCUMENT_UNREADABLE"
    },
    "depth": 1,
    "forwarded": {
      "header_names": [
        "example"
      ],
      "cookie_names": [
        "example"
      ],
      "scope": "requested_origin"
    }
  },
  "billing": {
    "credits_charged": 1,
    "credits_refunded": 1,
    "credits_per_item": 1,
    "credits_net": 1,
    "policy": "effort_based"
  }
}

HTTP ステータスコード

  • 200 成功
  • 400 不正なリクエスト
  • 401 未認証
  • 402 支払いが必要
  • 403 禁止
  • 409 HTTP 409
  • 422 HTTP 422
  • 429 リクエスト過多
  • 503 サービス利用不可

よくある質問

ウェブスクレイピングのリクエストとレスポンスのリファレンスはどこで確認できますか?

ウェブスクレイピングのAPIリファレンスで、パラメーター、レスポンスフィールド、例、ステータスコード、サポートされる操作モードを確認できます。

ウェブスクレイピングの不明または不完全な結果はどのように解釈すべきですか?

「不明」または「一部」は、結果を完全には確認できなかったことを意味します。結果をもとに対応する際は、ステータス、信頼度、鮮度、制限事項を考慮してください。

ウェブスクレイピングの料金はどのように決まりますか?

料金は、チェックの種類と選択したモードによって異なります。現在のクレジット消費量、APIキーの要否、項目ごとの料金は、APIリファレンスで確認できます。

これらの企業の担当者に使われています

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse