Dane internetowe · Produkt DomScan

API Scraping stron internetowych

Pobieraj publiczne strony internetowe i dokumenty jako HTML, Markdown, tekst gotowy dla LLM lub zwykły tekst, pojedynczo, wsadowo lub przez przeszukanie całej witryny.

Co otrzymasz

Pobieraj publiczne strony internetowe i dokumenty jako HTML, Markdown, tekst gotowy dla LLM lub zwykły tekst, pojedynczo, wsadowo lub przez przeszukanie całej witryny.

SynchronicznyAsynchronicznyRESTMCPSDK

Wybierz ten produkt, gdy

Dla kogo jest ten produkt

Korzystaj ze skoncentrowanych API, gdy produkt lub przepływ potrzebuje aktualnych dowodów publicznej strony w ustrukturyzowanej odpowiedzi.

Wybierz ten produkt, gdy

Wybierz, gdy potrzebujesz czystego HTML, tekstu lub Markdown z publicznych stron, plików PDF albo arkuszy kalkulacyjnych, od jednej strony po całą witrynę, a renderowania lub zbierania asynchronicznego tylko przy wsparciu i konieczności.

Co otrzymasz

Pobieraj publiczne strony internetowe i dokumenty jako HTML, Markdown, tekst gotowy dla LLM lub zwykły tekst, pojedynczo, wsadowo lub przez przeszukanie całej witryny.

Endpointy

Zobacz, co każdy endpoint przyjmuje i zwraca, jakie ma tryby i limity, zanim zaczniesz integrację.

POST /v1/scrape Otwórz referencję API
POST /v1/scrape/jobs Otwórz referencję API
GET /v1/scrape/jobs/:job_id Otwórz referencję API
GET /v1/scrape/jobs/:job_id/results Otwórz referencję API
POST /v1/crawl/jobs Otwórz referencję API
GET /v1/crawl/jobs/:job_id Otwórz referencję API
GET /v1/crawl/jobs/:job_id/results Otwórz referencję API

Kredyty i uwierzytelnianie

0-20 Wymagane uwierzytelnianie. Dokładny koszt, w tym ewentualne ceny za element, znajdziesz w dokumentacji API.

Przykładowa operacja

Korzystaj z udokumentowanych operacji, aby zbierać, oceniać, wzbogacać, weryfikować, porównywać, chronić lub monitorować publiczne dane.

POST /v1/scrape Kredyty: 1-20/item

Parametry treści

Parametr Typ wymagane
url string wymagane
mode string
Dozwolone wartości standardresilientrenderedrendered_resilient
Domyślnie standard
opcjonalne
output string
Dozwolone wartości htmltextmarkdownllm
Domyślnie html
opcjonalne
only_main_content boolean
Domyślnie false
opcjonalne
include_selectors string[] opcjonalne
exclude_selectors string[] opcjonalne
links boolean
Domyślnie false
opcjonalne
headers object opcjonalne
cookies object opcjonalne

Pola odpowiedzi

Pole Typ
data object
data.url string
data.final_url string
data.status integer | null
data.outcome string
data.content_type string | null
data.content string
data.bytes integer
data.truncated boolean
data.redirect_count integer
data.attempt_count integer
data.duration_ms integer
data.fetched_at string
data.headers object
data.rendered boolean
data.links[] object[]
data.links[] object
data.links[].url string
data.links[].text string
data.document object
data.document.kind string
data.document.title string | null
data.document.pages integer | null
data.document.sheets[] string[]
data.document.truncated boolean
data.document.error string
data.depth integer
data.forwarded object
data.forwarded.header_names[] string[]
data.forwarded.cookie_names[] string[]
data.forwarded.scope string
billing object
billing.credits_charged integer
billing.credits_refunded integer
billing.credits_per_item integer
billing.credits_net integer
billing.policy string

Przykładowe żądanie

curl -X POST "https://domscan.net/v1/scrape" \
  -H "Content-Type: application/json" \
  -H "X-API-Key: $DOMSCAN_API_KEY" \
  -d '{
  "url": "https://example.com/",
  "mode": "standard",
  "output": "markdown"
}'
const response = await fetch("https://domscan.net/v1/scrape", {
  method: "POST",
  headers: { "X-API-Key": process.env.DOMSCAN_API_KEY, "Content-Type": "application/json" },
  body: JSON.stringify({
    "url": "https://example.com/",
    "mode": "standard",
    "output": "markdown"
  }),
});
const data = await response.json();
console.log(data);
import os
import requests

response = requests.post(
    "https://domscan.net/v1/scrape",
    headers={"X-API-Key": os.environ["DOMSCAN_API_KEY"]},
    json={
        "url": "https://example.com/",
        "mode": "standard",
        "output": "markdown",
    },
)
print(response.json())
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strings"
)

func main() {
	body := strings.NewReader(`{
	  "url": "https://example.com/",
	  "mode": "standard",
	  "output": "markdown"
	}`)
	req, err := http.NewRequest(http.MethodPost, "https://domscan.net/v1/scrape", body)
	if err != nil {
		panic(err)
	}
	req.Header.Set("X-API-Key", os.Getenv("DOMSCAN_API_KEY"))
	req.Header.Set("Content-Type", "application/json")

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()

	data, err := io.ReadAll(resp.Body)
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Status, string(data))
}
require "json"
require "net/http"

uri = URI("https://domscan.net/v1/scrape")
request = Net::HTTP::Post.new(uri)
request["X-API-Key"] = ENV.fetch("DOMSCAN_API_KEY")
request["Content-Type"] = "application/json"
request.body = JSON.generate({
  "url" => "https://example.com/",
  "mode" => "standard",
  "output" => "markdown"
})

response = Net::HTTP.start(uri.hostname, uri.port, use_ssl: true) do |http|
  http.request(request)
end
puts JSON.pretty_generate(JSON.parse(response.body))

Przykładowa odpowiedź

{
  "data": {
    "url": "https://example.com",
    "final_url": "https://example.com",
    "status": 1,
    "outcome": "success",
    "content_type": "domain",
    "content": "example",
    "bytes": 1,
    "truncated": false,
    "redirect_count": 1,
    "attempt_count": 1,
    "duration_ms": 1,
    "fetched_at": "2026-08-27T12:00:00Z",
    "headers": {},
    "rendered": false,
    "links": [
      {
        "url": "https://example.com",
        "text": "example"
      }
    ],
    "document": {
      "kind": "pdf",
      "title": "example",
      "pages": 1,
      "sheets": [
        "example"
      ],
      "truncated": false,
      "error": "DOCUMENT_UNREADABLE"
    },
    "depth": 1,
    "forwarded": {
      "header_names": [
        "example"
      ],
      "cookie_names": [
        "example"
      ],
      "scope": "requested_origin"
    }
  },
  "billing": {
    "credits_charged": 1,
    "credits_refunded": 1,
    "credits_per_item": 1,
    "credits_net": 1,
    "policy": "effort_based"
  }
}

Kody statusu HTTP

  • 200 OK
  • 400 Nieprawidłowe żądanie
  • 401 Nieautoryzowany
  • 402 Wymagana płatność
  • 403 Zabronione
  • 409 HTTP 409
  • 422 HTTP 422
  • 429 Zbyt wiele żądań
  • 503 Usługa niedostępna

Często zadawane pytania

Gdzie znajdę referencję żądań i odpowiedzi dla Scraping stron internetowych?

W referencji API dla Scraping stron internetowych znajdziesz parametry, pola odpowiedzi, przykłady, kody stanu i obsługiwane tryby wykonania.

Jak interpretować nieznane lub niepełne wyniki Scraping stron internetowych?

Wynik nieznany lub częściowy oznacza, że nie udało się go w pełni potwierdzić. Uwzględnij status, pewność, aktualność i wszelkie limity, zanim na jego podstawie zadziałasz.

Jak wyceniany jest Scraping stron internetowych?

Cena zależy od sprawdzenia i wybranego trybu. Dokumentacja API pokazuje aktualny koszt w kredytach, informację, czy potrzebujesz klucza API, oraz ewentualne ceny za element.

Używany przez ludzi w tych firmach

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse