웹 데이터 · DomScan 제품

웹 스크래핑 API 레퍼런스

공개 웹페이지와 문서를 HTML, Markdown, LLM에 바로 쓸 수 있는 텍스트 또는 일반 텍스트로 가져옵니다. 한 페이지씩, 배치로, 또는 사이트 전체 크롤링으로 이용할 수 있습니다.

제공 내용

공개 웹페이지와 문서를 HTML, Markdown, LLM에 바로 쓸 수 있는 텍스트 또는 일반 텍스트로 가져옵니다. 한 페이지씩, 배치로, 또는 사이트 전체 크롤링으로 이용할 수 있습니다.

동기비동기RESTMCPSDK

다음과 같은 경우 이 제품을 선택하세요

대상 사용자

제품이나 워크플로가 구조화된 응답에서 최신 공개 페이지 증거를 필요로 할 때 집중형 API를 사용하세요.

다음과 같은 경우 이 제품을 선택하세요

공개 페이지, PDF 또는 스프레드시트에서 깔끔한 HTML, 텍스트 또는 Markdown이 필요할 때 선택하세요. 한 페이지부터 사이트 전체까지 지원하며, 렌더링이나 비동기 수집은 지원되고 필요한 경우에만 사용합니다.

제공 내용

공개 웹페이지와 문서를 HTML, Markdown, LLM에 바로 쓸 수 있는 텍스트 또는 일반 텍스트로 가져옵니다. 한 페이지씩, 배치로, 또는 사이트 전체 크롤링으로 이용할 수 있습니다.

엔드포인트

연동하기 전에 각 엔드포인트가 받는 값과 반환하는 값, 모드, 한도를 확인하세요.

POST /v1/scrape API 레퍼런스 보기
POST /v1/scrape/jobs API 레퍼런스 보기
GET /v1/scrape/jobs/:job_id API 레퍼런스 보기
GET /v1/scrape/jobs/:job_id/results API 레퍼런스 보기
POST /v1/crawl/jobs API 레퍼런스 보기
GET /v1/crawl/jobs/:job_id API 레퍼런스 보기
GET /v1/crawl/jobs/:job_id/results API 레퍼런스 보기

크레딧 및 인증

0-20 인증 필요. 항목별 가격을 포함한 정확한 비용은 API 레퍼런스에서 확인하세요.

작업 예시

문서화된 작업을 사용해 공개 증거를 수집, 평가, 보강, 검증, 비교, 보호 또는 모니터링하세요.

POST /v1/scrape 크레딧: 1-20/item

본문 매개변수

매개변수 유형 필수
url string 필수
mode string
허용된 값 standardresilientrenderedrendered_resilient
기본값 standard
선택 사항
output string
허용된 값 htmltextmarkdownllm
기본값 html
선택 사항
only_main_content boolean
기본값 false
선택 사항
include_selectors string[] 선택 사항
exclude_selectors string[] 선택 사항
links boolean
기본값 false
선택 사항
headers object 선택 사항
cookies object 선택 사항

응답 필드

필드 유형
data object
data.url string
data.final_url string
data.status integer | null
data.outcome string
data.content_type string | null
data.content string
data.bytes integer
data.truncated boolean
data.redirect_count integer
data.attempt_count integer
data.duration_ms integer
data.fetched_at string
data.headers object
data.rendered boolean
data.links[] object[]
data.links[] object
data.links[].url string
data.links[].text string
data.document object
data.document.kind string
data.document.title string | null
data.document.pages integer | null
data.document.sheets[] string[]
data.document.truncated boolean
data.document.error string
data.depth integer
data.forwarded object
data.forwarded.header_names[] string[]
data.forwarded.cookie_names[] string[]
data.forwarded.scope string
billing object
billing.credits_charged integer
billing.credits_refunded integer
billing.credits_per_item integer
billing.credits_net integer
billing.policy string

예제 요청

curl -X POST "https://domscan.net/v1/scrape" \
  -H "Content-Type: application/json" \
  -H "X-API-Key: $DOMSCAN_API_KEY" \
  -d '{
  "url": "https://example.com/",
  "mode": "standard",
  "output": "markdown"
}'
const response = await fetch("https://domscan.net/v1/scrape", {
  method: "POST",
  headers: { "X-API-Key": process.env.DOMSCAN_API_KEY, "Content-Type": "application/json" },
  body: JSON.stringify({
    "url": "https://example.com/",
    "mode": "standard",
    "output": "markdown"
  }),
});
const data = await response.json();
console.log(data);
import os
import requests

response = requests.post(
    "https://domscan.net/v1/scrape",
    headers={"X-API-Key": os.environ["DOMSCAN_API_KEY"]},
    json={
        "url": "https://example.com/",
        "mode": "standard",
        "output": "markdown",
    },
)
print(response.json())
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strings"
)

func main() {
	body := strings.NewReader(`{
	  "url": "https://example.com/",
	  "mode": "standard",
	  "output": "markdown"
	}`)
	req, err := http.NewRequest(http.MethodPost, "https://domscan.net/v1/scrape", body)
	if err != nil {
		panic(err)
	}
	req.Header.Set("X-API-Key", os.Getenv("DOMSCAN_API_KEY"))
	req.Header.Set("Content-Type", "application/json")

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()

	data, err := io.ReadAll(resp.Body)
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Status, string(data))
}
require "json"
require "net/http"

uri = URI("https://domscan.net/v1/scrape")
request = Net::HTTP::Post.new(uri)
request["X-API-Key"] = ENV.fetch("DOMSCAN_API_KEY")
request["Content-Type"] = "application/json"
request.body = JSON.generate({
  "url" => "https://example.com/",
  "mode" => "standard",
  "output" => "markdown"
})

response = Net::HTTP.start(uri.hostname, uri.port, use_ssl: true) do |http|
  http.request(request)
end
puts JSON.pretty_generate(JSON.parse(response.body))

예제 응답

{
  "data": {
    "url": "https://example.com",
    "final_url": "https://example.com",
    "status": 1,
    "outcome": "success",
    "content_type": "domain",
    "content": "example",
    "bytes": 1,
    "truncated": false,
    "redirect_count": 1,
    "attempt_count": 1,
    "duration_ms": 1,
    "fetched_at": "2026-08-27T12:00:00Z",
    "headers": {},
    "rendered": false,
    "links": [
      {
        "url": "https://example.com",
        "text": "example"
      }
    ],
    "document": {
      "kind": "pdf",
      "title": "example",
      "pages": 1,
      "sheets": [
        "example"
      ],
      "truncated": false,
      "error": "DOCUMENT_UNREADABLE"
    },
    "depth": 1,
    "forwarded": {
      "header_names": [
        "example"
      ],
      "cookie_names": [
        "example"
      ],
      "scope": "requested_origin"
    }
  },
  "billing": {
    "credits_charged": 1,
    "credits_refunded": 1,
    "credits_per_item": 1,
    "credits_net": 1,
    "policy": "effort_based"
  }
}

HTTP 상태 코드

  • 200 성공
  • 400 잘못된 요청
  • 401 인증되지 않음
  • 402 결제 필요
  • 403 금지됨
  • 409 HTTP 409
  • 422 HTTP 422
  • 429 요청 과다
  • 503 서비스 이용 불가

자주 묻는 질문

웹 스크래핑 요청 및 응답 레퍼런스는 어디에서 확인할 수 있나요?

웹 스크래핑 API 레퍼런스에서 매개변수, 응답 필드, 예시, 상태 코드 및 지원되는 작업 모드를 확인하세요.

웹 스크래핑의 알 수 없거나 불완전한 결과는 어떻게 해석해야 하나요?

알 수 없음 또는 부분 결과는 결과를 완전히 확인하지 못했다는 뜻입니다. 결과를 바탕으로 조치할 때는 상태, 신뢰도, 최신성, 한도를 함께 고려하세요.

웹 스크래핑의 요금은 어떻게 책정되나요?

가격은 확인 작업과 선택한 모드에 따라 달라집니다. API 레퍼런스에서 현재 크레딧 비용, API 키 필요 여부, 항목별 가격을 확인할 수 있습니다.

다음 회사의 사람들이 사용합니다

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse