Webdaten · DomScan-Produkt

API für Web-Scraping

Rufe öffentliche Webseiten und Dokumente als HTML, Markdown, LLM-fähigen Text oder Klartext ab, einzeln, im Batch oder als Crawl einer ganzen Website.

Was Sie erhalten

Rufe öffentliche Webseiten und Dokumente als HTML, Markdown, LLM-fähigen Text oder Klartext ab, einzeln, im Batch oder als Crawl einer ganzen Website.

SynchronAsynchronRESTMCPSDK

Wählen Sie dieses Produkt, wenn

Für wen es gedacht ist

Nutzen Sie fokussierte APIs, wenn ein Produkt oder Workflow aktuelle Belege einer öffentlichen Seite in strukturierter Form benötigt.

Wählen Sie dieses Produkt, wenn

Wählen Sie dies, wenn Sie sauberes HTML, Text oder Markdown aus öffentlichen Seiten, PDFs oder Tabellen benötigen, von einer einzelnen Seite bis zu einer ganzen Website, mit Rendering oder asynchroner Sammlung nur, wenn dies unterstützt und erforderlich ist.

Was Sie erhalten

Rufe öffentliche Webseiten und Dokumente als HTML, Markdown, LLM-fähigen Text oder Klartext ab, einzeln, im Batch oder als Crawl einer ganzen Website.

Endpunkte

Sehen Sie vor der Integration, was jeder Endpunkt akzeptiert und zurückgibt, welche Modi und Limits er hat.

POST /v1/scrape API-Referenz ansehen
POST /v1/scrape/jobs API-Referenz ansehen
GET /v1/scrape/jobs/:job_id API-Referenz ansehen
GET /v1/scrape/jobs/:job_id/results API-Referenz ansehen
POST /v1/crawl/jobs API-Referenz ansehen
GET /v1/crawl/jobs/:job_id API-Referenz ansehen
GET /v1/crawl/jobs/:job_id/results API-Referenz ansehen

Credits und Authentifizierung

0-20 Authentifizierung erforderlich. Die genauen Kosten, einschließlich eventueller Preise pro Element, finden Sie in der API-Referenz.

Beispieloperation

Nutzen Sie dokumentierte Operationen, um öffentliche Belege zu erfassen, zu bewerten, anzureichern, zu verifizieren, zu vergleichen, zu schützen oder zu überwachen.

POST /v1/scrape Credits: 1-20/item

Body-Parameter

Parameter Typ erforderlich
url string erforderlich
mode string
Zulässige Werte standardresilientrenderedrendered_resilient
Standard standard
optional
output string
Zulässige Werte htmltextmarkdownllm
Standard html
optional
only_main_content boolean
Standard false
optional
include_selectors string[] optional
exclude_selectors string[] optional
links boolean
Standard false
optional
headers object optional
cookies object optional

Antwortfelder

Feld Typ
data object
data.url string
data.final_url string
data.status integer | null
data.outcome string
data.content_type string | null
data.content string
data.bytes integer
data.truncated boolean
data.redirect_count integer
data.attempt_count integer
data.duration_ms integer
data.fetched_at string
data.headers object
data.rendered boolean
data.links[] object[]
data.links[] object
data.links[].url string
data.links[].text string
data.document object
data.document.kind string
data.document.title string | null
data.document.pages integer | null
data.document.sheets[] string[]
data.document.truncated boolean
data.document.error string
data.depth integer
data.forwarded object
data.forwarded.header_names[] string[]
data.forwarded.cookie_names[] string[]
data.forwarded.scope string
billing object
billing.credits_charged integer
billing.credits_refunded integer
billing.credits_per_item integer
billing.credits_net integer
billing.policy string

Beispielanfrage

curl -X POST "https://domscan.net/v1/scrape" \
  -H "Content-Type: application/json" \
  -H "X-API-Key: $DOMSCAN_API_KEY" \
  -d '{
  "url": "https://example.com/",
  "mode": "standard",
  "output": "markdown"
}'
const response = await fetch("https://domscan.net/v1/scrape", {
  method: "POST",
  headers: { "X-API-Key": process.env.DOMSCAN_API_KEY, "Content-Type": "application/json" },
  body: JSON.stringify({
    "url": "https://example.com/",
    "mode": "standard",
    "output": "markdown"
  }),
});
const data = await response.json();
console.log(data);
import os
import requests

response = requests.post(
    "https://domscan.net/v1/scrape",
    headers={"X-API-Key": os.environ["DOMSCAN_API_KEY"]},
    json={
        "url": "https://example.com/",
        "mode": "standard",
        "output": "markdown",
    },
)
print(response.json())
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strings"
)

func main() {
	body := strings.NewReader(`{
	  "url": "https://example.com/",
	  "mode": "standard",
	  "output": "markdown"
	}`)
	req, err := http.NewRequest(http.MethodPost, "https://domscan.net/v1/scrape", body)
	if err != nil {
		panic(err)
	}
	req.Header.Set("X-API-Key", os.Getenv("DOMSCAN_API_KEY"))
	req.Header.Set("Content-Type", "application/json")

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()

	data, err := io.ReadAll(resp.Body)
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Status, string(data))
}
require "json"
require "net/http"

uri = URI("https://domscan.net/v1/scrape")
request = Net::HTTP::Post.new(uri)
request["X-API-Key"] = ENV.fetch("DOMSCAN_API_KEY")
request["Content-Type"] = "application/json"
request.body = JSON.generate({
  "url" => "https://example.com/",
  "mode" => "standard",
  "output" => "markdown"
})

response = Net::HTTP.start(uri.hostname, uri.port, use_ssl: true) do |http|
  http.request(request)
end
puts JSON.pretty_generate(JSON.parse(response.body))

Beispielantwort

{
  "data": {
    "url": "https://example.com",
    "final_url": "https://example.com",
    "status": 1,
    "outcome": "success",
    "content_type": "domain",
    "content": "example",
    "bytes": 1,
    "truncated": false,
    "redirect_count": 1,
    "attempt_count": 1,
    "duration_ms": 1,
    "fetched_at": "2026-08-27T12:00:00Z",
    "headers": {},
    "rendered": false,
    "links": [
      {
        "url": "https://example.com",
        "text": "example"
      }
    ],
    "document": {
      "kind": "pdf",
      "title": "example",
      "pages": 1,
      "sheets": [
        "example"
      ],
      "truncated": false,
      "error": "DOCUMENT_UNREADABLE"
    },
    "depth": 1,
    "forwarded": {
      "header_names": [
        "example"
      ],
      "cookie_names": [
        "example"
      ],
      "scope": "requested_origin"
    }
  },
  "billing": {
    "credits_charged": 1,
    "credits_refunded": 1,
    "credits_per_item": 1,
    "credits_net": 1,
    "policy": "effort_based"
  }
}

HTTP-Statuscodes

  • 200 OK
  • 400 Ungültige Anfrage
  • 401 Nicht autorisiert
  • 402 Zahlung erforderlich
  • 403 Verboten
  • 409 HTTP 409
  • 422 HTTP 422
  • 429 Zu viele Anfragen
  • 503 Dienst nicht verfügbar

Häufig gestellte Fragen

Wo finde ich die Request- und Response-Referenz für Web-Scraping?

In der API-Referenz für Web-Scraping finden Sie Parameter, Response-Felder, Beispiele, Statuscodes und unterstützte Operationsmodi.

Wie sollte ich unbekannte oder unvollständige Ergebnisse von Web-Scraping interpretieren?

Unbekannt oder teilweise bedeutet, dass wir das Ergebnis nicht vollständig bestätigen konnten. Berücksichtigen Sie Status, Konfidenz, Aktualität und eventuelle Limits, wenn Sie darauf reagieren.

Wie wird Web-Scraping abgerechnet?

Der Preis hängt von der Prüfung und vom gewählten Modus ab. Die API-Referenz zeigt die aktuellen Credit-Kosten, ob Sie einen API-Schlüssel brauchen und eventuelle Preise pro Element.

Wird von Mitarbeitenden dieser Unternehmen genutzt

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse