Voor ontwikkelaars, onderzoekers en agentbouwers
Gebruik gerichte API’s wanneer een product of workflow actuele openbare paginabewijzen in een gestructureerde reactie nodig heeft.
Webgegevens
Verzamel openbare webinhoud met de context om die te gebruiken
Ga van een URL naar leesbare inhoud, de uiteindelijke bestemming, zichtbare technologieën, categorie en signalen op URL-niveau.
Begin met de output die je nodig hebt
Verzamel inhoud voor analyse, traceer een bestemming voordat je die volgt of verrijk een bekende pagina met technologie- en categoriecontext.
Invoer
URLDomein
Resultaten
VerzamelenBeoordelenOntdekkenVerrijken
Kies het meest gerichte product dat de vraag beantwoordt
Gebruik Scrape voor pagina-inhoud. Voeg Redirects, Technology Detection, Website Categorization of URL Intelligence alleen toe wanneer die context de beslissing verandert.
Webscraping
Haal openbare webpagina’s op als HTML, Markdown of tekst, met synchrone en asynchrone opties.
Kies dit wanneer: Kies dit wanneer je HTML, tekst of markdown uit een openbare pagina nodig hebt. Gebruik weergave of asynchrone verzameling alleen wanneer die worden ondersteund en nodig zijn.
- Invoer
- URL
- Resultaten
- Verzamelen
- Tegoeden
- 0-20
SynchroonAsynchroonRESTMCPSDK
Omleidingsketen
Traceer de volledige omleidingsketen voor een URL.
Kies dit wanneer: Kies dit wanneer de bestemming en redirectketen belangrijker zijn dan de paginainhoud.
- Invoer
- URL, Domein
- Resultaten
- Verzamelen, Beoordelen
- Tegoeden
- 2
SynchroonRESTMCPSDKInteractieve tool
Detectie technologiestapel
Detecteer de technologiestapel die door een website wordt gebruikt, inclusief CMS, frameworks en services.
Kies dit wanneer: Kies dit wanneer je bewijs nodig hebt van blootgestelde frameworks, platforms, analytics- of infrastructuurtechnologieën.
- Invoer
- URL, Domein
- Resultaten
- Ontdekken, Verrijken, Beoordelen
- Tegoeden
- 0-9
SynchroonBulkAsynchroonRESTMCPSDKInteractieve tool
Website-categorisatie
Categoriseer een website per industrie, inhoudstype en onderwerpen.
Kies dit wanneer: Kies dit wanneer je een brede inhouds- of bedrijfscategorie nodig hebt voor routering, onderzoek of beoordeling.
- Invoer
- URL, Domein
- Resultaten
- Verrijken, Beoordelen
- Tegoeden
- 0-3
SynchroonBulkRESTMCPSDKInteractieve tool
Uniforme URL-intelligence
Extraheer genormaliseerde paginametadata, previewvelden, gestructureerde gegevens en openbare identiteitssignalen uit een URL.
Kies dit wanneer: Kies dit wanneer je genormaliseerde URL-structuur en op risico gerichte URL-signalen nodig hebt vóór diepere verzameling.
- Invoer
- URL
- Resultaten
- Verzamelen, Verrijken
- Tegoeden
- 2
SynchroonBulkRESTMCPSDK
Workflows
Inspecteer de URL, verzamel de pagina als markdown en voeg daarna de categorie- of technologiebewijzen toe die de agenttaak vereist.
Van pagina naar agentklare context
Inspecteer de URL, verzamel de pagina als markdown en voeg daarna de categorie- of technologiebewijzen toe die de agenttaak vereist.
Onderzoeksnapshot van een website
Verzamel een representatieve pagina, bepaal de uiteindelijke bestemming en combineer inhoud met websitecategorie en signalen van blootgestelde technologieën.
Eén openbare pagina als markdown verzamelen
Dien een openbare URL in bij POST /v1/scrape met markdown-output. Gebruik eerst de standaardmodus en kies rendering alleen wanneer de pagina JavaScript vereist.
Voorbeeldverzoek
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'Voorbeeldantwoord
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}Eerst synchroon, jobs wanneer de werklast dat vereist
Scrape één pagina synchroon of dien 1 tot 100 openbare URL’s in bij een betaalde asynchrone scrape-job. Technology Detection ondersteunt ook productspecifieke bulk- en jobpaden.
SynchroonBulkAsynchroonRESTMCPSDKInteractieve tool
Openbare pagina’s verzamelen binnen grenzen
De verzameling gebruikt begrensde redirects, responsgroottes, gelijktijdigheid en verwerkingsmodi. Toegang tot elke pagina wordt niet beloofd.
Gerelateerde oplossingen
Verzamel openbare webpagina’s in een vorm die je applicatie kan gebruiken
Kies de laagste voldoende verzamelmodus, bewaar bestemmingsbewijs en verrijk het resultaat alleen wanneer de workflow dat nodig heeft.
Geef agents actuele webcontext met expliciete grenzen
Laat een agent een pagina verzamelen, het domein erachter begrijpen en alleen dieper bewijs opvragen wanneer de taak dat vereist.
Bouw een herhaalbaar openbaar bewijsrecord voor domeinen van concurrenten
Verzamel openbare pagina’s en verbind die met domein-, bedrijfs-, technologie-, DNS- en infrastructuurcontext.
Begin met één pagina en voeg daarna alleen de nodige context toe
Bekijk de vijf Web Data-producten of voer vanuit de documentatie een eerste Scrape-verzoek uit.