Voor ontwikkelaars, datateams, onderzoekers en agentbouwers
Gebruik deze workflow voor begrensde paginaverzameling, inhoudsextractie, onderzoeksinvoer en context van openbare pagina’s.
Oplossing voor gegevensverzameling
Verzamel openbare webpagina’s in een vorm die je applicatie kan gebruiken
Kies de laagste voldoende verzamelmodus, bewaar bestemmingsbewijs en verrijk het resultaat alleen wanneer de workflow dat nodig heeft.
Bruikbare pagina-inhoud met verzamelcontext
Ontvang HTML, tekst of markdown plus bewijs van de uiteindelijke bestemming en verwerking voor elk ondersteund verzoek.
Een URL alleen is geen betrouwbaar inhoudsrecord
De pagina kan redirecten, JavaScript vereisen, de begrensde responsgrootte overschrijden of slechts een deel van de benodigde context tonen.
Verzameling is begrensd en toegang is niet gegarandeerd
DomScan omzeilt geen authenticatie, paywalls, toegangscontroles of doelwitbeperkingen en belooft niet dat elke openbare URL kan worden verzameld.
Workflow
Ontvang HTML, tekst of markdown plus bewijs van de uiteindelijke bestemming en verwerking voor elk ondersteund verzoek.
De doel-URL inspecteren en normaliseren
Gebruik URL Intelligence of Redirects wanneer bestemming of URL-risicosignalen vóór verzameling moeten worden gecontroleerd.
Verzamelen met de laagste voldoende modus
Begin met standaard Scrape, kies veerkrachtig retrygedrag alleen wanneer nuttig en gebruik rendering alleen voor JavaScript-afhankelijke inhoud.
Gestructureerde context toevoegen waar die de beslissing verandert
Vraag Website Categorization of Technology Detection na de verzameling op wanneer de vervolgtaken die signalen nodig hebben.
Een openbaar artikel als markdown verzamelen
Dien de artikel-URL in de standaardmodus in, bewaar de uiteindelijke URL en voeg categoriegegevens alleen toe als de applicatie die gebruikt.
Voorbeeldverzoek
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'Voorbeeldantwoord
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}Producten in deze workflow
Ontvang HTML, tekst of markdown plus bewijs van de uiteindelijke bestemming en verwerking voor elk ondersteund verzoek.
Webscraping
Haal openbare webpagina’s op als HTML, Markdown of tekst, met synchrone en asynchrone opties.
Kies dit wanneer: Haal openbare webpagina’s op als HTML, Markdown of tekst, met synchrone en asynchrone opties.
- Invoer
- URL
- Resultaten
- Verzamelen
- Tegoeden
- 0-20
SynchroonAsynchroonRESTMCPSDK
Uniforme URL-intelligence
Extraheer genormaliseerde paginametadata, previewvelden, gestructureerde gegevens en openbare identiteitssignalen uit een URL.
Kies dit wanneer: Extraheer genormaliseerde paginametadata, previewvelden, gestructureerde gegevens en openbare identiteitssignalen uit een URL.
- Invoer
- URL
- Resultaten
- Verzamelen, Verrijken
- Tegoeden
- 2
SynchroonBulkRESTMCPSDK
Website-categorisatie
Categoriseer een website per industrie, inhoudstype en onderwerpen.
Kies dit wanneer: Categoriseer een website per industrie, inhoudstype en onderwerpen.
- Invoer
- URL, Domein
- Resultaten
- Verrijken, Beoordelen
- Tegoeden
- 0-3
SynchroonBulkRESTMCPSDKInteractieve tool
Asynchrone API-batches
Plaats meerdere ondersteunde API-verzoeken in de wachtrij en verzamel de resultaten zonder een clientverbinding open te houden.
Kies dit wanneer: Plaats meerdere ondersteunde API-verzoeken in de wachtrij en verzamel de resultaten zonder een clientverbinding open te houden.
- Invoer
- Domein, URL, E-mailadres
- Resultaten
- Automatiseren
- Tegoeden
- 0
AsynchroonRESTMCPSDK
Kies deze workflow wanneer
Kies dit wanneer
Je begrensde inhoud van openbare pagina’s nodig hebt met expliciete context van bestemming, modus en verwerking.
Niet geschikt voor
Gebruik dit niet om toegangscontroles te omzeilen, een onbeperkte site te crawlen of verzameling van elk doelwit te garanderen.
Gerelateerde productsuites
Bruikbare pagina-inhoud met verzamelcontext
Kies de laagste voldoende verzamelmodus, bewaar bestemmingsbewijs en verrijk het resultaat alleen wanneer de workflow dat nodig heeft.