Web Verileri · DomScan ürünü

Web verisi kazıma API ürünü

Herkese açık web sayfalarını ve belgeleri HTML, Markdown, LLM’e hazır metin veya düz metin olarak alın; sayfa sayfa, toplu olarak ya da tüm siteyi tarayarak.

Elde edecekleriniz

Herkese açık web sayfalarını ve belgeleri HTML, Markdown, LLM’e hazır metin veya düz metin olarak alın; sayfa sayfa, toplu olarak ya da tüm siteyi tarayarak.

SenkronAsenkronRESTMCPSDK

Bu ürünü şu durumlarda seçin

Kimler için

Bir ürün veya iş akışı yapılandırılmış bir yanıtta güncel herkese açık sayfa kanıtına ihtiyaç duyduğunda odaklı API’leri kullanın.

Bu ürünü şu durumlarda seçin

Herkese açık sayfalardan, PDF’lerden veya e-tablolardan temiz HTML, metin ya da Markdown gerektiğinde seçin; tek bir sayfadan tüm siteye kadar. Oluşturma veya eş zamansız toplamayı yalnızca destekleniyor ve gerekiyorsa kullanın.

Elde edecekleriniz

Herkese açık web sayfalarını ve belgeleri HTML, Markdown, LLM’e hazır metin veya düz metin olarak alın; sayfa sayfa, toplu olarak ya da tüm siteyi tarayarak.

Uç noktalar

Entegre etmeden önce her uç noktanın neleri kabul edip neleri döndürdüğünü, modlarını ve sınırlarını görün.

POST /v1/scrape/jobs API referansını görüntüle
GET /v1/scrape/jobs/:job_id API referansını görüntüle
GET /v1/scrape/jobs/:job_id/results API referansını görüntüle
POST /v1/crawl/jobs API referansını görüntüle
GET /v1/crawl/jobs/:job_id API referansını görüntüle
GET /v1/crawl/jobs/:job_id/results API referansını görüntüle

Krediler ve kimlik doğrulama

0-20 Kimlik doğrulama gerekli. Ürün başına fiyatlandırma dahil kesin maliyet için API referansına bakın.

İşlem örneği

Herkese açık kanıtları toplamak, değerlendirmek, zenginleştirmek, doğrulamak, karşılaştırmak, korumak veya izlemek için belgelenmiş işlemleri kullanın.

POST /v1/scrape Kredi: 1-20/item

Gövde parametreleri

Parametre Tür gerekli
url string gerekli
mode string
İzin verilen değerler standardresilientrenderedrendered_resilient
Varsayılan standard
isteğe bağlı
output string
İzin verilen değerler htmltextmarkdownllm
Varsayılan html
isteğe bağlı
only_main_content boolean
Varsayılan false
isteğe bağlı
include_selectors string[] isteğe bağlı
exclude_selectors string[] isteğe bağlı
links boolean
Varsayılan false
isteğe bağlı
headers object isteğe bağlı
cookies object isteğe bağlı

Yanıt alanları

Alan Tür
data object
data.url string
data.final_url string
data.status integer | null
data.outcome string
data.content_type string | null
data.content string
data.bytes integer
data.truncated boolean
data.redirect_count integer
data.attempt_count integer
data.duration_ms integer
data.fetched_at string
data.headers object
data.rendered boolean
data.links[] object[]
data.links[] object
data.links[].url string
data.links[].text string
data.document object
data.document.kind string
data.document.title string | null
data.document.pages integer | null
data.document.sheets[] string[]
data.document.truncated boolean
data.document.error string
data.depth integer
data.forwarded object
data.forwarded.header_names[] string[]
data.forwarded.cookie_names[] string[]
data.forwarded.scope string
billing object
billing.credits_charged integer
billing.credits_refunded integer
billing.credits_per_item integer
billing.credits_net integer
billing.policy string

Örnek istek

curl -X POST "https://domscan.net/v1/scrape" \
  -H "Content-Type: application/json" \
  -H "X-API-Key: $DOMSCAN_API_KEY" \
  -d '{
  "url": "https://example.com/",
  "mode": "standard",
  "output": "markdown"
}'
const response = await fetch("https://domscan.net/v1/scrape", {
  method: "POST",
  headers: { "X-API-Key": process.env.DOMSCAN_API_KEY, "Content-Type": "application/json" },
  body: JSON.stringify({
    "url": "https://example.com/",
    "mode": "standard",
    "output": "markdown"
  }),
});
const data = await response.json();
console.log(data);
import os
import requests

response = requests.post(
    "https://domscan.net/v1/scrape",
    headers={"X-API-Key": os.environ["DOMSCAN_API_KEY"]},
    json={
        "url": "https://example.com/",
        "mode": "standard",
        "output": "markdown",
    },
)
print(response.json())
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strings"
)

func main() {
	body := strings.NewReader(`{
	  "url": "https://example.com/",
	  "mode": "standard",
	  "output": "markdown"
	}`)
	req, err := http.NewRequest(http.MethodPost, "https://domscan.net/v1/scrape", body)
	if err != nil {
		panic(err)
	}
	req.Header.Set("X-API-Key", os.Getenv("DOMSCAN_API_KEY"))
	req.Header.Set("Content-Type", "application/json")

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()

	data, err := io.ReadAll(resp.Body)
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Status, string(data))
}
require "json"
require "net/http"

uri = URI("https://domscan.net/v1/scrape")
request = Net::HTTP::Post.new(uri)
request["X-API-Key"] = ENV.fetch("DOMSCAN_API_KEY")
request["Content-Type"] = "application/json"
request.body = JSON.generate({
  "url" => "https://example.com/",
  "mode" => "standard",
  "output" => "markdown"
})

response = Net::HTTP.start(uri.hostname, uri.port, use_ssl: true) do |http|
  http.request(request)
end
puts JSON.pretty_generate(JSON.parse(response.body))

Örnek yanıt

{
  "data": {
    "url": "https://example.com",
    "final_url": "https://example.com",
    "status": 1,
    "outcome": "success",
    "content_type": "domain",
    "content": "example",
    "bytes": 1,
    "truncated": false,
    "redirect_count": 1,
    "attempt_count": 1,
    "duration_ms": 1,
    "fetched_at": "2026-08-27T12:00:00Z",
    "headers": {},
    "rendered": false,
    "links": [
      {
        "url": "https://example.com",
        "text": "example"
      }
    ],
    "document": {
      "kind": "pdf",
      "title": "example",
      "pages": 1,
      "sheets": [
        "example"
      ],
      "truncated": false,
      "error": "DOCUMENT_UNREADABLE"
    },
    "depth": 1,
    "forwarded": {
      "header_names": [
        "example"
      ],
      "cookie_names": [
        "example"
      ],
      "scope": "requested_origin"
    }
  },
  "billing": {
    "credits_charged": 1,
    "credits_refunded": 1,
    "credits_per_item": 1,
    "credits_net": 1,
    "policy": "effort_based"
  }
}

HTTP durum kodları

  • 200 OK
  • 400 Hatalı İstek
  • 401 Yetkisiz
  • 402 Ödeme Gerekli
  • 403 Yasak
  • 409 HTTP 409
  • 422 HTTP 422
  • 429 Çok Fazla İstek
  • 503 Hizmet Kullanılamıyor

Sık sorulan sorular

Web verisi kazıma istek ve yanıt referansını nerede bulabilirim?

Parametreleri, yanıt alanlarını, örnekleri, durum kodlarını ve desteklenen yürütme modlarını incelemek için Web verisi kazıma API referansını kullanın.

Web verisi kazıma kaynaklı bilinmeyen veya eksik sonuçları nasıl yorumlamalıyım?

Bilinmiyor veya kısmi, sonucu tam olarak doğrulayamadığımız anlamına gelir. Sonuca göre hareket ederken durumu, güveni, güncelliği ve varsa sınırları göz önünde bulundurun.

Web verisi kazıma nasıl fiyatlandırılır?

Fiyat, kontrole ve seçtiğiniz moda bağlıdır. API referansı güncel kredi maliyetini, API anahtarı gerekip gerekmediğini ve varsa öğe başına fiyatlandırmayı gösterir.

Bu şirketlerdeki kişiler tarafından kullanılıyor

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse