Données web · Produit DomScan

API Web scraping

Récupérez des pages web publiques et des documents au format HTML, Markdown, texte prêt pour les LLM ou texte brut, page par page, par lots ou en explorant un site entier.

Ce que vous obtenez

Récupérez des pages web publiques et des documents au format HTML, Markdown, texte prêt pour les LLM ou texte brut, page par page, par lots ou en explorant un site entier.

SynchroneAsynchroneRESTMCPSDK

Choisissez ce produit lorsque

À qui s’adresse ce produit

Utilisez des API ciblées lorsqu’un produit ou un flux a besoin de preuves actuelles issues d’une page publique dans une réponse structurée.

Choisissez ce produit lorsque

À choisir lorsque vous avez besoin de HTML, de texte ou de Markdown propres issus de pages publiques, de PDF ou de feuilles de calcul, d’une seule page jusqu’à un site entier, avec rendu ou collecte asynchrone uniquement lorsque ces options sont prises en charge et nécessaires.

Ce que vous obtenez

Récupérez des pages web publiques et des documents au format HTML, Markdown, texte prêt pour les LLM ou texte brut, page par page, par lots ou en explorant un site entier.

Endpoints

Voyez ce que chaque endpoint accepte et renvoie, ses modes et ses limites avant d'intégrer.

POST /v1/scrape Voir la référence API
POST /v1/scrape/jobs Voir la référence API
GET /v1/scrape/jobs/:job_id Voir la référence API
GET /v1/scrape/jobs/:job_id/results Voir la référence API
POST /v1/crawl/jobs Voir la référence API
GET /v1/crawl/jobs/:job_id Voir la référence API
GET /v1/crawl/jobs/:job_id/results Voir la référence API

Crédits et authentification

0-20 Authentification requise. Consultez la référence de l'API pour le coût exact, y compris les éventuels tarifs par élément.

Opération exemple

Utilisez des opérations documentées pour collecter, évaluer, enrichir, vérifier, comparer, protéger ou surveiller des preuves publiques.

POST /v1/scrape Crédits: 1-20/item

Paramètres du corps

Paramètre Type requis
url string requis
mode string
Valeurs autorisées standardresilientrenderedrendered_resilient
Défaut standard
optionnel
output string
Valeurs autorisées htmltextmarkdownllm
Défaut html
optionnel
only_main_content boolean
Défaut false
optionnel
include_selectors string[] optionnel
exclude_selectors string[] optionnel
links boolean
Défaut false
optionnel
headers object optionnel
cookies object optionnel

Champs de réponse

Champ Type
data object
data.url string
data.final_url string
data.status integer | null
data.outcome string
data.content_type string | null
data.content string
data.bytes integer
data.truncated boolean
data.redirect_count integer
data.attempt_count integer
data.duration_ms integer
data.fetched_at string
data.headers object
data.rendered boolean
data.links[] object[]
data.links[] object
data.links[].url string
data.links[].text string
data.document object
data.document.kind string
data.document.title string | null
data.document.pages integer | null
data.document.sheets[] string[]
data.document.truncated boolean
data.document.error string
data.depth integer
data.forwarded object
data.forwarded.header_names[] string[]
data.forwarded.cookie_names[] string[]
data.forwarded.scope string
billing object
billing.credits_charged integer
billing.credits_refunded integer
billing.credits_per_item integer
billing.credits_net integer
billing.policy string

Exemple de requête

curl -X POST "https://domscan.net/v1/scrape" \
  -H "Content-Type: application/json" \
  -H "X-API-Key: $DOMSCAN_API_KEY" \
  -d '{
  "url": "https://example.com/",
  "mode": "standard",
  "output": "markdown"
}'
const response = await fetch("https://domscan.net/v1/scrape", {
  method: "POST",
  headers: { "X-API-Key": process.env.DOMSCAN_API_KEY, "Content-Type": "application/json" },
  body: JSON.stringify({
    "url": "https://example.com/",
    "mode": "standard",
    "output": "markdown"
  }),
});
const data = await response.json();
console.log(data);
import os
import requests

response = requests.post(
    "https://domscan.net/v1/scrape",
    headers={"X-API-Key": os.environ["DOMSCAN_API_KEY"]},
    json={
        "url": "https://example.com/",
        "mode": "standard",
        "output": "markdown",
    },
)
print(response.json())
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strings"
)

func main() {
	body := strings.NewReader(`{
	  "url": "https://example.com/",
	  "mode": "standard",
	  "output": "markdown"
	}`)
	req, err := http.NewRequest(http.MethodPost, "https://domscan.net/v1/scrape", body)
	if err != nil {
		panic(err)
	}
	req.Header.Set("X-API-Key", os.Getenv("DOMSCAN_API_KEY"))
	req.Header.Set("Content-Type", "application/json")

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()

	data, err := io.ReadAll(resp.Body)
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Status, string(data))
}
require "json"
require "net/http"

uri = URI("https://domscan.net/v1/scrape")
request = Net::HTTP::Post.new(uri)
request["X-API-Key"] = ENV.fetch("DOMSCAN_API_KEY")
request["Content-Type"] = "application/json"
request.body = JSON.generate({
  "url" => "https://example.com/",
  "mode" => "standard",
  "output" => "markdown"
})

response = Net::HTTP.start(uri.hostname, uri.port, use_ssl: true) do |http|
  http.request(request)
end
puts JSON.pretty_generate(JSON.parse(response.body))

Exemple de réponse

{
  "data": {
    "url": "https://example.com",
    "final_url": "https://example.com",
    "status": 1,
    "outcome": "success",
    "content_type": "domain",
    "content": "example",
    "bytes": 1,
    "truncated": false,
    "redirect_count": 1,
    "attempt_count": 1,
    "duration_ms": 1,
    "fetched_at": "2026-08-27T12:00:00Z",
    "headers": {},
    "rendered": false,
    "links": [
      {
        "url": "https://example.com",
        "text": "example"
      }
    ],
    "document": {
      "kind": "pdf",
      "title": "example",
      "pages": 1,
      "sheets": [
        "example"
      ],
      "truncated": false,
      "error": "DOCUMENT_UNREADABLE"
    },
    "depth": 1,
    "forwarded": {
      "header_names": [
        "example"
      ],
      "cookie_names": [
        "example"
      ],
      "scope": "requested_origin"
    }
  },
  "billing": {
    "credits_charged": 1,
    "credits_refunded": 1,
    "credits_per_item": 1,
    "credits_net": 1,
    "policy": "effort_based"
  }
}

Codes de statut HTTP

  • 200 OK
  • 400 Requête incorrecte
  • 401 Non autorisé
  • 402 Paiement requis
  • 403 Interdit
  • 409 HTTP 409
  • 422 HTTP 422
  • 429 Trop de requêtes
  • 503 Service indisponible

Questions fréquentes

Où trouver la référence des requêtes et réponses de Web scraping ?

Utilisez la référence API de Web scraping pour consulter les paramètres, les champs de réponse, les exemples, les codes d’état et les modes d’opération pris en charge.

Comment interpréter les résultats inconnus ou incomplets de Web scraping ?

Inconnu ou partiel signifie que nous n'avons pas pu confirmer entièrement le résultat. Gardez en tête le statut, la confiance, la fraîcheur et les éventuelles limites avant d'agir.

Comment Web scraping est-il tarifé ?

Le prix dépend de la vérification et du mode choisi. La référence de l'API indique le coût actuel en crédits, si une clé API est nécessaire et les éventuels tarifs par élément.

Utilisé par des équipes de ces entreprises

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse