Webbdata · DomScan-produkt

Webbskrapning API-referens

Hämta offentliga webbsidor och dokument som HTML, Markdown, LLM-redo text eller ren text, en sida i taget, i batchar eller genom att genomsöka en hel webbplats.

Det här får du

Hämta offentliga webbsidor och dokument som HTML, Markdown, LLM-redo text eller ren text, en sida i taget, i batchar eller genom att genomsöka en hel webbplats.

SynkrontAsynkrontRESTMCPSDK

Välj denna produkt när

Vem är det till för?

Använd fokuserade API:er när en produkt eller ett arbetsflöde behöver aktuella bevis från en offentlig sida i ett strukturerat svar.

Välj denna produkt när

Välj detta när du behöver rent HTML, text eller Markdown från offentliga sidor, PDF-filer eller kalkylblad, från en enskild sida till en hel webbplats, med rendering eller asynkron insamling endast när det stöds och behövs.

Det här får du

Hämta offentliga webbsidor och dokument som HTML, Markdown, LLM-redo text eller ren text, en sida i taget, i batchar eller genom att genomsöka en hel webbplats.

Endpoints

Se vad varje endpoint accepterar och returnerar, dess lägen och begränsningar innan du integrerar.

POST /v1/scrape Visa API-referens
POST /v1/scrape/jobs Visa API-referens
GET /v1/scrape/jobs/:job_id Visa API-referens
GET /v1/scrape/jobs/:job_id/results Visa API-referens
POST /v1/crawl/jobs Visa API-referens
GET /v1/crawl/jobs/:job_id Visa API-referens
GET /v1/crawl/jobs/:job_id/results Visa API-referens

Credits och autentisering

0-20 Autentisering krävs. Se API-referensen för den exakta kostnaden, inklusive eventuell prissättning per post.

Exempel på operation

Använd dokumenterade operationer för att samla in, bedöma, berika, verifiera, jämföra, skydda eller övervaka offentliga bevis.

POST /v1/scrape Krediter: 1-20/item

Brödtextparametrar

Parameter Typ obligatorisk
url string obligatorisk
mode string
Tillåtna värden standardresilientrenderedrendered_resilient
Standard standard
valfri
output string
Tillåtna värden htmltextmarkdownllm
Standard html
valfri
only_main_content boolean
Standard false
valfri
include_selectors string[] valfri
exclude_selectors string[] valfri
links boolean
Standard false
valfri
headers object valfri
cookies object valfri

Svarsfält

Fält Typ
data object
data.url string
data.final_url string
data.status integer | null
data.outcome string
data.content_type string | null
data.content string
data.bytes integer
data.truncated boolean
data.redirect_count integer
data.attempt_count integer
data.duration_ms integer
data.fetched_at string
data.headers object
data.rendered boolean
data.links[] object[]
data.links[] object
data.links[].url string
data.links[].text string
data.document object
data.document.kind string
data.document.title string | null
data.document.pages integer | null
data.document.sheets[] string[]
data.document.truncated boolean
data.document.error string
data.depth integer
data.forwarded object
data.forwarded.header_names[] string[]
data.forwarded.cookie_names[] string[]
data.forwarded.scope string
billing object
billing.credits_charged integer
billing.credits_refunded integer
billing.credits_per_item integer
billing.credits_net integer
billing.policy string

Exempelbegäran

curl -X POST "https://domscan.net/v1/scrape" \
  -H "Content-Type: application/json" \
  -H "X-API-Key: $DOMSCAN_API_KEY" \
  -d '{
  "url": "https://example.com/",
  "mode": "standard",
  "output": "markdown"
}'
const response = await fetch("https://domscan.net/v1/scrape", {
  method: "POST",
  headers: { "X-API-Key": process.env.DOMSCAN_API_KEY, "Content-Type": "application/json" },
  body: JSON.stringify({
    "url": "https://example.com/",
    "mode": "standard",
    "output": "markdown"
  }),
});
const data = await response.json();
console.log(data);
import os
import requests

response = requests.post(
    "https://domscan.net/v1/scrape",
    headers={"X-API-Key": os.environ["DOMSCAN_API_KEY"]},
    json={
        "url": "https://example.com/",
        "mode": "standard",
        "output": "markdown",
    },
)
print(response.json())
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strings"
)

func main() {
	body := strings.NewReader(`{
	  "url": "https://example.com/",
	  "mode": "standard",
	  "output": "markdown"
	}`)
	req, err := http.NewRequest(http.MethodPost, "https://domscan.net/v1/scrape", body)
	if err != nil {
		panic(err)
	}
	req.Header.Set("X-API-Key", os.Getenv("DOMSCAN_API_KEY"))
	req.Header.Set("Content-Type", "application/json")

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()

	data, err := io.ReadAll(resp.Body)
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Status, string(data))
}
require "json"
require "net/http"

uri = URI("https://domscan.net/v1/scrape")
request = Net::HTTP::Post.new(uri)
request["X-API-Key"] = ENV.fetch("DOMSCAN_API_KEY")
request["Content-Type"] = "application/json"
request.body = JSON.generate({
  "url" => "https://example.com/",
  "mode" => "standard",
  "output" => "markdown"
})

response = Net::HTTP.start(uri.hostname, uri.port, use_ssl: true) do |http|
  http.request(request)
end
puts JSON.pretty_generate(JSON.parse(response.body))

Exempelsvar

{
  "data": {
    "url": "https://example.com",
    "final_url": "https://example.com",
    "status": 1,
    "outcome": "success",
    "content_type": "domain",
    "content": "example",
    "bytes": 1,
    "truncated": false,
    "redirect_count": 1,
    "attempt_count": 1,
    "duration_ms": 1,
    "fetched_at": "2026-08-27T12:00:00Z",
    "headers": {},
    "rendered": false,
    "links": [
      {
        "url": "https://example.com",
        "text": "example"
      }
    ],
    "document": {
      "kind": "pdf",
      "title": "example",
      "pages": 1,
      "sheets": [
        "example"
      ],
      "truncated": false,
      "error": "DOCUMENT_UNREADABLE"
    },
    "depth": 1,
    "forwarded": {
      "header_names": [
        "example"
      ],
      "cookie_names": [
        "example"
      ],
      "scope": "requested_origin"
    }
  },
  "billing": {
    "credits_charged": 1,
    "credits_refunded": 1,
    "credits_per_item": 1,
    "credits_net": 1,
    "policy": "effort_based"
  }
}

HTTP-statuskoder

  • 200 OK
  • 400 Felaktig begäran
  • 401 Obehörig
  • 402 Betalning krävs
  • 403 Förbjuden
  • 409 HTTP 409
  • 422 HTTP 422
  • 429 För många begäranden
  • 503 Tjänsten är inte tillgänglig

Vanliga frågor

Var hittar jag request- och response-referensen för Webbskrapning?

Använd API-referensen för Webbskrapning för att granska parametrar, svarsfält, exempel, statuskoder och stödda körningslägen.

Hur ska jag tolka okända eller ofullständiga resultat från Webbskrapning?

Okänt eller delvis betyder att vi inte kunde bekräfta resultatet fullt ut. Ta hänsyn till status, säkerhet, aktualitet och eventuella begränsningar när du agerar på det.

Hur prissätts Webbskrapning?

Priset beror på kontrollen och det läge du väljer. API-referensen visar den aktuella kreditkostnaden, om du behöver en API-nyckel och eventuell prissättning per post.

Används av människor på dessa företag

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse