Voor ontwikkelaars, onderzoekers en agentbouwers
Gebruik gerichte API’s wanneer een product of workflow actuele openbare paginabewijzen in een gestructureerde reactie nodig heeft.
Probeer een product, resultaat, endpointpad of API-onderwerp.
Webgegevens
Ga van een URL naar leesbare inhoud, de uiteindelijke bestemming, zichtbare technologieën, categorie en signalen op URL-niveau.
Gebruik gerichte API’s wanneer een product of workflow actuele openbare paginabewijzen in een gestructureerde reactie nodig heeft.
Verzamel inhoud voor analyse, traceer een bestemming voordat je die volgt of verrijk een bekende pagina met technologie- en categoriecontext.
Gebruik Scrape voor pagina-inhoud. Voeg Redirects, Technology Detection, Website Categorization of URL Intelligence alleen toe wanneer die context de beslissing verandert.
Haal openbare webpagina’s en documenten op als HTML, Markdown, LLM-klare tekst of platte tekst, per pagina, in batches of als crawl van een hele site.
Kies dit wanneer: Kies dit wanneer je schone HTML, tekst of Markdown uit openbare pagina’s, PDF’s of spreadsheets nodig hebt, van één pagina tot een hele site. Gebruik weergave of asynchrone verzameling alleen wanneer die worden ondersteund en nodig zijn.
Traceer de volledige omleidingsketen voor een URL.
Kies dit wanneer: Kies dit wanneer de bestemming en redirectketen belangrijker zijn dan de paginainhoud.
Detecteer de technologiestapel die door een website wordt gebruikt, inclusief CMS, frameworks en services.
Kies dit wanneer: Kies dit wanneer je bewijs nodig hebt van blootgestelde frameworks, platforms, analytics- of infrastructuurtechnologieën.
Parse robots.txt, test elke crawler en elk pad en zie welke AI-crawlers geblokkeerd zijn.
Kies dit wanneer: Kies dit om de robots.txt van een site te lezen, te testen of een crawler een pad mag ophalen en te zien welke AI-crawlers zijn toegestaan of geblokkeerd.
Vind en audit XML-sitemaps met het aantal URL's, lastmod-actualiteit en protocolproblemen.
Kies dit wanneer: Kies dit om de XML-sitemaps van een site te vinden en het aantal URL's, de actualiteit van lastmod en protocolproblemen te controleren binnen een vast bestandsbudget.
Controleer titels, metatags, koppen, links, afbeeldingen en gestructureerde data met een SEO-score.
Kies dit wanneer: Kies dit om één pagina te auditen op on-page SEO, van metatags en koppen tot links, afbeeldingen en gestructureerde data, met of zonder JavaScript-rendering.
Vergelijk ruwe en gerenderde HTML om te zien welke SEO-signalen van JavaScript afhangen.
Kies dit wanneer: Kies dit om te zien welke SEO-signalen van een pagina pas bestaan nadat JavaScript is uitgevoerd, door de ruwe en gerenderde HTML te vergelijken.
Haal JSON-LD-, Microdata- en RDFa-schema.org-markup op en valideer die.
Kies dit wanneer: Kies dit om JSON-LD, Microdata en RDFa van een pagina op te halen en te controleren tegen schema.org-regels voor veelvoorkomende rich result-typen.
Vind de meest voorkomende zoekwoorden en zinnen op een pagina met dichtheidspercentages.
Kies dit wanneer: Kies dit om de frequentie van woorden en zinnen op een pagina te meten en te controleren waar doelzoekwoorden voorkomen.
Toon paginalinks en vind kapotte links met begrensde statuscontroles.
Kies dit wanneer: Kies dit om de links op een pagina te tonen en kapotte links te vinden, waarbij geblokkeerde controles onbekend blijven.
Valideer hreflang-codes, x-default, zelfverwijzingen en terugverwijzingen.
Kies dit wanneer: Kies dit om de hreflang-tags van een pagina te valideren en te bevestigen dat alternatieve taalpagina's terugverwijzen.
Test veel URL's en zoekbots tegen een geplakte of live robots.txt.
Kies dit wanneer: Kies dit om veel URL's en zoekbots in één keer te testen tegen een geplakte of live robots.txt.
Valideer ads.txt- en app-ads.txt-records en bevestig verkopers aan de hand van sellers.json.
Kies dit wanneer: Kies dit om de ads.txt of app-ads.txt van een site te valideren en geautoriseerde verkopers te bevestigen aan de hand van sellers.json.
Vergelijk pagina's op dubbele content, titels en metabeschrijvingen.
Kies dit wanneer: Kies dit om maximaal 10 pagina's te vergelijken op dubbele content en herhaalde titels, metabeschrijvingen en H1's.
Crawl maximaal 50 pagina's en vind kapotte links, duplicaten en on-page problemen.
Kies dit wanneer: Kies dit om maximaal 50 pagina's van een site te crawlen en kapotte links, duplicaten en on-page SEO-problemen in één rapport te vinden.
Leg elke pagina vast als afbeelding of PDF op desktop of mobiel.
Kies dit wanneer: Kies dit om een pagina vast te leggen als PNG, JPEG, WebP of PDF op desktop of mobiel.
Voer een geautomatiseerde WCAG-audit uit met overtredingen, betrokken elementen en een score.
Kies dit wanneer: Kies dit om een geautomatiseerde WCAG-audit van een pagina uit te voeren met overtredingen per impact en betrokken elementen.
Toon cookies, trackers en consentmanager die vóór toestemming zichtbaar zijn.
Kies dit wanneer: Kies dit om de cookies, trackers en consentmanager te zien die een pagina vóór toestemming laadt.
Meet de bytes, verzoeken, derde partijen en laadtijden van een pagina.
Kies dit wanneer: Kies dit om de bytes, verzoeken, derde partijen, renderblokkerende resources en laadtijden van een pagina te meten.
Categoriseer een website per industrie, inhoudstype en onderwerpen.
Kies dit wanneer: Kies dit wanneer je een brede inhouds- of bedrijfscategorie nodig hebt voor routering, onderzoek of beoordeling.
Extraheer genormaliseerde paginametadata, previewvelden, gestructureerde gegevens en openbare identiteitssignalen uit een URL.
Kies dit wanneer: Kies dit wanneer je genormaliseerde URL-structuur en op risico gerichte URL-signalen nodig hebt vóór diepere verzameling.
Inspecteer de URL, verzamel de pagina als markdown en voeg daarna de categorie- of technologiebewijzen toe die de agenttaak vereist.
Inspecteer de URL, verzamel de pagina als markdown en voeg daarna de categorie- of technologiebewijzen toe die de agenttaak vereist.
Verzamel een representatieve pagina, bepaal de uiteindelijke bestemming en combineer inhoud met websitecategorie en signalen van blootgestelde technologieën.
Dien een openbare URL in bij POST /v1/scrape met markdown-output. Gebruik eerst de standaardmodus en kies rendering alleen wanneer de pagina JavaScript vereist.
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}
Scrape één pagina synchroon of dien 1 tot 100 openbare URL’s in bij een betaalde asynchrone scrape-job. Technology Detection ondersteunt ook productspecifieke bulk- en jobpaden.
De verzameling gebruikt begrensde redirects, responsgroottes, gelijktijdigheid en verwerkingsmodi. Toegang tot elke pagina wordt niet beloofd.
Kies de laagste voldoende verzamelmodus, bewaar bestemmingsbewijs en verrijk het resultaat alleen wanneer de workflow dat nodig heeft.
Meer informatieLaat een agent een pagina verzamelen, het domein erachter begrijpen en alleen dieper bewijs opvragen wanneer de taak dat vereist.
Meer informatieVerzamel openbare pagina’s en verbind die met domein-, bedrijfs-, technologie-, DNS- en infrastructuurcontext.
Meer informatieBekijk de vijf Web Data-producten of voer vanuit de documentatie een eerste Scrape-verzoek uit.