Веб-данные · Продукт DomScan

API Веб-скрейпинг

Получайте общедоступные веб-страницы и документы в формате HTML, Markdown, текста для LLM или обычного текста: по одной странице, пакетами или обходом всего сайта.

Что вы получите

Получайте общедоступные веб-страницы и документы в формате HTML, Markdown, текста для LLM или обычного текста: по одной странице, пакетами или обходом всего сайта.

СинхронныйАсинхронныйRESTMCPSDK

Выберите этот продукт, если

Для кого этот продукт

Используйте специализированные API, когда продукту или процессу нужны актуальные данные открытой страницы в структурированном ответе.

Выберите этот продукт, если

Выбирайте, если нужны чистые HTML, текст или Markdown из общедоступных страниц, PDF или электронных таблиц, от одной страницы до всего сайта, используя рендеринг или асинхронный сбор только при поддержке и необходимости.

Что вы получите

Получайте общедоступные веб-страницы и документы в формате HTML, Markdown, текста для LLM или обычного текста: по одной странице, пакетами или обходом всего сайта.

Конечные точки

Перед интеграцией посмотрите, что принимает и возвращает каждый эндпоинт, а также его режимы и ограничения.

GET /v1/scrape/jobs/:job_id Открыть справочник API
GET /v1/scrape/jobs/:job_id/results Открыть справочник API
GET /v1/crawl/jobs/:job_id Открыть справочник API
GET /v1/crawl/jobs/:job_id/results Открыть справочник API

Кредиты и аутентификация

0-20 Требуется аутентификация. Точную стоимость, включая цены за отдельные элементы, смотрите в справочнике API.

Пример операции

Используйте документированные операции для сбора, оценки, обогащения, проверки, сравнения, защиты или мониторинга открытых данных.

POST /v1/scrape Кредиты: 1-20/item

Параметры тела запроса

Параметр Тип обязателен
url string обязателен
mode string
Допустимые значения standardresilientrenderedrendered_resilient
По умолчанию standard
опционально
output string
Допустимые значения htmltextmarkdownllm
По умолчанию html
опционально
only_main_content boolean
По умолчанию false
опционально
include_selectors string[] опционально
exclude_selectors string[] опционально
links boolean
По умолчанию false
опционально
headers object опционально
cookies object опционально

Поля ответа

Поле Тип
data object
data.url string
data.final_url string
data.status integer | null
data.outcome string
data.content_type string | null
data.content string
data.bytes integer
data.truncated boolean
data.redirect_count integer
data.attempt_count integer
data.duration_ms integer
data.fetched_at string
data.headers object
data.rendered boolean
data.links[] object[]
data.links[] object
data.links[].url string
data.links[].text string
data.document object
data.document.kind string
data.document.title string | null
data.document.pages integer | null
data.document.sheets[] string[]
data.document.truncated boolean
data.document.error string
data.depth integer
data.forwarded object
data.forwarded.header_names[] string[]
data.forwarded.cookie_names[] string[]
data.forwarded.scope string
billing object
billing.credits_charged integer
billing.credits_refunded integer
billing.credits_per_item integer
billing.credits_net integer
billing.policy string

Пример запроса

curl -X POST "https://domscan.net/v1/scrape" \
  -H "Content-Type: application/json" \
  -H "X-API-Key: $DOMSCAN_API_KEY" \
  -d '{
  "url": "https://example.com/",
  "mode": "standard",
  "output": "markdown"
}'
const response = await fetch("https://domscan.net/v1/scrape", {
  method: "POST",
  headers: { "X-API-Key": process.env.DOMSCAN_API_KEY, "Content-Type": "application/json" },
  body: JSON.stringify({
    "url": "https://example.com/",
    "mode": "standard",
    "output": "markdown"
  }),
});
const data = await response.json();
console.log(data);
import os
import requests

response = requests.post(
    "https://domscan.net/v1/scrape",
    headers={"X-API-Key": os.environ["DOMSCAN_API_KEY"]},
    json={
        "url": "https://example.com/",
        "mode": "standard",
        "output": "markdown",
    },
)
print(response.json())
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strings"
)

func main() {
	body := strings.NewReader(`{
	  "url": "https://example.com/",
	  "mode": "standard",
	  "output": "markdown"
	}`)
	req, err := http.NewRequest(http.MethodPost, "https://domscan.net/v1/scrape", body)
	if err != nil {
		panic(err)
	}
	req.Header.Set("X-API-Key", os.Getenv("DOMSCAN_API_KEY"))
	req.Header.Set("Content-Type", "application/json")

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()

	data, err := io.ReadAll(resp.Body)
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Status, string(data))
}
require "json"
require "net/http"

uri = URI("https://domscan.net/v1/scrape")
request = Net::HTTP::Post.new(uri)
request["X-API-Key"] = ENV.fetch("DOMSCAN_API_KEY")
request["Content-Type"] = "application/json"
request.body = JSON.generate({
  "url" => "https://example.com/",
  "mode" => "standard",
  "output" => "markdown"
})

response = Net::HTTP.start(uri.hostname, uri.port, use_ssl: true) do |http|
  http.request(request)
end
puts JSON.pretty_generate(JSON.parse(response.body))

Пример ответа

{
  "data": {
    "url": "https://example.com",
    "final_url": "https://example.com",
    "status": 1,
    "outcome": "success",
    "content_type": "domain",
    "content": "example",
    "bytes": 1,
    "truncated": false,
    "redirect_count": 1,
    "attempt_count": 1,
    "duration_ms": 1,
    "fetched_at": "2026-08-27T12:00:00Z",
    "headers": {},
    "rendered": false,
    "links": [
      {
        "url": "https://example.com",
        "text": "example"
      }
    ],
    "document": {
      "kind": "pdf",
      "title": "example",
      "pages": 1,
      "sheets": [
        "example"
      ],
      "truncated": false,
      "error": "DOCUMENT_UNREADABLE"
    },
    "depth": 1,
    "forwarded": {
      "header_names": [
        "example"
      ],
      "cookie_names": [
        "example"
      ],
      "scope": "requested_origin"
    }
  },
  "billing": {
    "credits_charged": 1,
    "credits_refunded": 1,
    "credits_per_item": 1,
    "credits_net": 1,
    "policy": "effort_based"
  }
}

Коды состояния HTTP

  • 200 OK
  • 400 Неверный запрос
  • 401 Не авторизован
  • 402 Требуется оплата
  • 403 Доступ запрещен
  • 409 HTTP 409
  • 422 HTTP 422
  • 429 Слишком много запросов
  • 503 Сервис недоступен

Часто задаваемые вопросы

Где найти справочник запросов и ответов для Веб-скрейпинг?

В справочнике API для Веб-скрейпинг описаны параметры, поля ответа, примеры, коды состояния и поддерживаемые режимы выполнения.

Как интерпретировать неизвестные или неполные результаты Веб-скрейпинг?

Статус «неизвестно» или «частично» означает, что мы не смогли полностью подтвердить результат. Учитывайте статус, достоверность, актуальность и ограничения, когда действуете на основе результата.

Как рассчитывается цена Веб-скрейпинг?

Цена зависит от проверки и выбранного режима. В справочнике API указаны текущая стоимость в кредитах, нужен ли API-ключ и цены за отдельные элементы.

Используется сотрудниками этих компаний

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse