Webdata · DomScan-product

Webscraping API-referentie

Haal openbare webpagina’s en documenten op als HTML, Markdown, LLM-klare tekst of platte tekst, per pagina, in batches of als crawl van een hele site.

Wat je krijgt

Haal openbare webpagina’s en documenten op als HTML, Markdown, LLM-klare tekst of platte tekst, per pagina, in batches of als crawl van een hele site.

SynchroonAsynchroonRESTMCPSDK

Kies dit product wanneer

Voor wie is dit?

Gebruik gerichte API’s wanneer een product of workflow actuele openbare paginabewijzen in een gestructureerde reactie nodig heeft.

Kies dit product wanneer

Kies dit wanneer je schone HTML, tekst of Markdown uit openbare pagina’s, PDF’s of spreadsheets nodig hebt, van één pagina tot een hele site. Gebruik weergave of asynchrone verzameling alleen wanneer die worden ondersteund en nodig zijn.

Wat je krijgt

Haal openbare webpagina’s en documenten op als HTML, Markdown, LLM-klare tekst of platte tekst, per pagina, in batches of als crawl van een hele site.

Endpoints

Bekijk vóór de integratie wat elk endpoint accepteert en teruggeeft, plus de modi en limieten.

POST /v1/scrape API-referentie bekijken
POST /v1/scrape/jobs API-referentie bekijken
GET /v1/scrape/jobs/:job_id API-referentie bekijken
GET /v1/scrape/jobs/:job_id/results API-referentie bekijken
POST /v1/crawl/jobs API-referentie bekijken
GET /v1/crawl/jobs/:job_id API-referentie bekijken
GET /v1/crawl/jobs/:job_id/results API-referentie bekijken

Credits en authenticatie

0-20 Authenticatie vereist. Zie de API-referentie voor de exacte kosten, inclusief eventuele prijzen per item.

Voorbeeldbewerking

Gebruik gedocumenteerde bewerkingen om openbaar bewijs te verzamelen, te beoordelen, te verrijken, te verifiëren, te vergelijken, te beschermen of te monitoren.

POST /v1/scrape Tegoeden: 1-20/item

Body-parameters

Parameter Type vereist
url string vereist
mode string
Toegestane waarden standardresilientrenderedrendered_resilient
Standaard standard
optioneel
output string
Toegestane waarden htmltextmarkdownllm
Standaard html
optioneel
only_main_content boolean
Standaard false
optioneel
include_selectors string[] optioneel
exclude_selectors string[] optioneel
links boolean
Standaard false
optioneel
headers object optioneel
cookies object optioneel

Antwoordvelden

Veld Type
data object
data.url string
data.final_url string
data.status integer | null
data.outcome string
data.content_type string | null
data.content string
data.bytes integer
data.truncated boolean
data.redirect_count integer
data.attempt_count integer
data.duration_ms integer
data.fetched_at string
data.headers object
data.rendered boolean
data.links[] object[]
data.links[] object
data.links[].url string
data.links[].text string
data.document object
data.document.kind string
data.document.title string | null
data.document.pages integer | null
data.document.sheets[] string[]
data.document.truncated boolean
data.document.error string
data.depth integer
data.forwarded object
data.forwarded.header_names[] string[]
data.forwarded.cookie_names[] string[]
data.forwarded.scope string
billing object
billing.credits_charged integer
billing.credits_refunded integer
billing.credits_per_item integer
billing.credits_net integer
billing.policy string

Voorbeeldverzoek

curl -X POST "https://domscan.net/v1/scrape" \
  -H "Content-Type: application/json" \
  -H "X-API-Key: $DOMSCAN_API_KEY" \
  -d '{
  "url": "https://example.com/",
  "mode": "standard",
  "output": "markdown"
}'
const response = await fetch("https://domscan.net/v1/scrape", {
  method: "POST",
  headers: { "X-API-Key": process.env.DOMSCAN_API_KEY, "Content-Type": "application/json" },
  body: JSON.stringify({
    "url": "https://example.com/",
    "mode": "standard",
    "output": "markdown"
  }),
});
const data = await response.json();
console.log(data);
import os
import requests

response = requests.post(
    "https://domscan.net/v1/scrape",
    headers={"X-API-Key": os.environ["DOMSCAN_API_KEY"]},
    json={
        "url": "https://example.com/",
        "mode": "standard",
        "output": "markdown",
    },
)
print(response.json())
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strings"
)

func main() {
	body := strings.NewReader(`{
	  "url": "https://example.com/",
	  "mode": "standard",
	  "output": "markdown"
	}`)
	req, err := http.NewRequest(http.MethodPost, "https://domscan.net/v1/scrape", body)
	if err != nil {
		panic(err)
	}
	req.Header.Set("X-API-Key", os.Getenv("DOMSCAN_API_KEY"))
	req.Header.Set("Content-Type", "application/json")

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()

	data, err := io.ReadAll(resp.Body)
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Status, string(data))
}
require "json"
require "net/http"

uri = URI("https://domscan.net/v1/scrape")
request = Net::HTTP::Post.new(uri)
request["X-API-Key"] = ENV.fetch("DOMSCAN_API_KEY")
request["Content-Type"] = "application/json"
request.body = JSON.generate({
  "url" => "https://example.com/",
  "mode" => "standard",
  "output" => "markdown"
})

response = Net::HTTP.start(uri.hostname, uri.port, use_ssl: true) do |http|
  http.request(request)
end
puts JSON.pretty_generate(JSON.parse(response.body))

Voorbeeldantwoord

{
  "data": {
    "url": "https://example.com",
    "final_url": "https://example.com",
    "status": 1,
    "outcome": "success",
    "content_type": "domain",
    "content": "example",
    "bytes": 1,
    "truncated": false,
    "redirect_count": 1,
    "attempt_count": 1,
    "duration_ms": 1,
    "fetched_at": "2026-08-27T12:00:00Z",
    "headers": {},
    "rendered": false,
    "links": [
      {
        "url": "https://example.com",
        "text": "example"
      }
    ],
    "document": {
      "kind": "pdf",
      "title": "example",
      "pages": 1,
      "sheets": [
        "example"
      ],
      "truncated": false,
      "error": "DOCUMENT_UNREADABLE"
    },
    "depth": 1,
    "forwarded": {
      "header_names": [
        "example"
      ],
      "cookie_names": [
        "example"
      ],
      "scope": "requested_origin"
    }
  },
  "billing": {
    "credits_charged": 1,
    "credits_refunded": 1,
    "credits_per_item": 1,
    "credits_net": 1,
    "policy": "effort_based"
  }
}

HTTP-statuscodes

  • 200 OK
  • 400 Ongeldig verzoek
  • 401 Niet geautoriseerd
  • 402 Betaling vereist
  • 403 Verboden
  • 409 HTTP 409
  • 422 HTTP 422
  • 429 Te veel verzoeken
  • 503 Service niet beschikbaar

Veelgestelde vragen

Waar vind ik de request- en response-referentie voor Webscraping?

Gebruik de API-referentie voor Webscraping om parameters, responsevelden, voorbeelden, statuscodes en ondersteunde uitvoeringsmodi te bekijken.

Hoe moet ik onbekende of onvolledige resultaten van Webscraping interpreteren?

Onbekend of gedeeltelijk betekent dat we het resultaat niet volledig konden bevestigen. Houd rekening met de status, betrouwbaarheid, actualiteit en eventuele limieten wanneer u erop handelt.

Hoe wordt Webscraping geprijsd?

De prijs hangt af van de controle en de modus die u kiest. De API-referentie toont de actuele kosten in credits, of u een API-sleutel nodig hebt en eventuele prijzen per item.

Gebruikt door mensen bij deze bedrijven

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse