Dados da web · Produto DomScan

API de Web Scraping

Busque páginas públicas da web e documentos como HTML, Markdown, texto pronto para LLM ou texto simples, uma página por vez, em lotes ou rastreando um site inteiro.

O que você recebe

Busque páginas públicas da web e documentos como HTML, Markdown, texto pronto para LLM ou texto simples, uma página por vez, em lotes ou rastreando um site inteiro.

SíncronoAssíncronoRESTMCPSDK

Escolha este produto quando

Para quem é

Use APIs focadas quando um produto ou fluxo precisar de evidências atuais de uma página pública em uma resposta estruturada.

Escolha este produto quando

Escolha quando precisar de HTML, texto ou Markdown limpos de páginas públicas, PDFs ou planilhas, de uma única página até um site inteiro, usando renderização ou coleta assíncrona somente quando houver suporte e necessidade.

O que você recebe

Busque páginas públicas da web e documentos como HTML, Markdown, texto pronto para LLM ou texto simples, uma página por vez, em lotes ou rastreando um site inteiro.

Endpoints

Veja o que cada endpoint aceita e retorna, seus modos e seus limites antes de integrar.

POST /v1/scrape Ver referência da API
POST /v1/scrape/jobs Ver referência da API
GET /v1/scrape/jobs/:job_id Ver referência da API
GET /v1/scrape/jobs/:job_id/results Ver referência da API
POST /v1/crawl/jobs Ver referência da API
GET /v1/crawl/jobs/:job_id Ver referência da API
GET /v1/crawl/jobs/:job_id/results Ver referência da API

Créditos e autenticação

0-20 Autenticação obrigatória. Consulte a referência da API para ver o custo exato, incluindo eventuais preços por item.

Operação de exemplo

Use operações documentadas para coletar, avaliar, enriquecer, verificar, comparar, proteger ou monitorar evidências públicas.

POST /v1/scrape Créditos: 1-20/item

Parâmetros do corpo

Parâmetro Tipo obrigatório
url string obrigatório
mode string
Valores permitidos standardresilientrenderedrendered_resilient
Padrão standard
opcional
output string
Valores permitidos htmltextmarkdownllm
Padrão html
opcional
only_main_content boolean
Padrão false
opcional
include_selectors string[] opcional
exclude_selectors string[] opcional
links boolean
Padrão false
opcional
headers object opcional
cookies object opcional

Campos da resposta

Campo Tipo
data object
data.url string
data.final_url string
data.status integer | null
data.outcome string
data.content_type string | null
data.content string
data.bytes integer
data.truncated boolean
data.redirect_count integer
data.attempt_count integer
data.duration_ms integer
data.fetched_at string
data.headers object
data.rendered boolean
data.links[] object[]
data.links[] object
data.links[].url string
data.links[].text string
data.document object
data.document.kind string
data.document.title string | null
data.document.pages integer | null
data.document.sheets[] string[]
data.document.truncated boolean
data.document.error string
data.depth integer
data.forwarded object
data.forwarded.header_names[] string[]
data.forwarded.cookie_names[] string[]
data.forwarded.scope string
billing object
billing.credits_charged integer
billing.credits_refunded integer
billing.credits_per_item integer
billing.credits_net integer
billing.policy string

Exemplo de requisição

curl -X POST "https://domscan.net/v1/scrape" \
  -H "Content-Type: application/json" \
  -H "X-API-Key: $DOMSCAN_API_KEY" \
  -d '{
  "url": "https://example.com/",
  "mode": "standard",
  "output": "markdown"
}'
const response = await fetch("https://domscan.net/v1/scrape", {
  method: "POST",
  headers: { "X-API-Key": process.env.DOMSCAN_API_KEY, "Content-Type": "application/json" },
  body: JSON.stringify({
    "url": "https://example.com/",
    "mode": "standard",
    "output": "markdown"
  }),
});
const data = await response.json();
console.log(data);
import os
import requests

response = requests.post(
    "https://domscan.net/v1/scrape",
    headers={"X-API-Key": os.environ["DOMSCAN_API_KEY"]},
    json={
        "url": "https://example.com/",
        "mode": "standard",
        "output": "markdown",
    },
)
print(response.json())
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strings"
)

func main() {
	body := strings.NewReader(`{
	  "url": "https://example.com/",
	  "mode": "standard",
	  "output": "markdown"
	}`)
	req, err := http.NewRequest(http.MethodPost, "https://domscan.net/v1/scrape", body)
	if err != nil {
		panic(err)
	}
	req.Header.Set("X-API-Key", os.Getenv("DOMSCAN_API_KEY"))
	req.Header.Set("Content-Type", "application/json")

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()

	data, err := io.ReadAll(resp.Body)
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Status, string(data))
}
require "json"
require "net/http"

uri = URI("https://domscan.net/v1/scrape")
request = Net::HTTP::Post.new(uri)
request["X-API-Key"] = ENV.fetch("DOMSCAN_API_KEY")
request["Content-Type"] = "application/json"
request.body = JSON.generate({
  "url" => "https://example.com/",
  "mode" => "standard",
  "output" => "markdown"
})

response = Net::HTTP.start(uri.hostname, uri.port, use_ssl: true) do |http|
  http.request(request)
end
puts JSON.pretty_generate(JSON.parse(response.body))

Exemplo de resposta

{
  "data": {
    "url": "https://example.com",
    "final_url": "https://example.com",
    "status": 1,
    "outcome": "success",
    "content_type": "domain",
    "content": "example",
    "bytes": 1,
    "truncated": false,
    "redirect_count": 1,
    "attempt_count": 1,
    "duration_ms": 1,
    "fetched_at": "2026-08-27T12:00:00Z",
    "headers": {},
    "rendered": false,
    "links": [
      {
        "url": "https://example.com",
        "text": "example"
      }
    ],
    "document": {
      "kind": "pdf",
      "title": "example",
      "pages": 1,
      "sheets": [
        "example"
      ],
      "truncated": false,
      "error": "DOCUMENT_UNREADABLE"
    },
    "depth": 1,
    "forwarded": {
      "header_names": [
        "example"
      ],
      "cookie_names": [
        "example"
      ],
      "scope": "requested_origin"
    }
  },
  "billing": {
    "credits_charged": 1,
    "credits_refunded": 1,
    "credits_per_item": 1,
    "credits_net": 1,
    "policy": "effort_based"
  }
}

Códigos de status HTTP

  • 200 OK
  • 400 Pedido inválido
  • 401 Não autorizado
  • 402 Pagamento necessário
  • 403 Proibido
  • 409 HTTP 409
  • 422 HTTP 422
  • 429 Demasiados pedidos
  • 503 Serviço indisponível

Perguntas frequentes

Onde encontro a referência de solicitação e resposta de Web Scraping?

Use a referência da API de Web Scraping para revisar parâmetros, campos de resposta, exemplos, códigos de status e modos de operação compatíveis.

Como devo interpretar resultados desconhecidos ou incompletos de Web Scraping?

Desconhecido ou parcial significa que não conseguimos confirmar totalmente o resultado. Considere o status, a confiança, a atualidade e quaisquer limites antes de agir.

Como Web Scraping é cobrado?

O preço depende da verificação e do modo escolhido. A referência da API mostra o custo atual em créditos, se você precisa de uma chave de API e eventuais preços por item.

Usado por pessoas nestas empresas

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse