Webdata

Robots.txt-API

Haal de robots.txt van elke website op en parse die met één verzoek. Ontvang crawlergroepen, regels, opgegeven sitemaps, een allow- of disallow-oordeel voor een user-agent en pad, en de toegang tot de root voor de belangrijkste AI-crawlers.

Documentatie bekijken Gratis tool proberen Ontdek alle API's

Endpoints Actief

GET /v1/robots

Voorbeeldverzoek

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Voorbeeldantwoord 200 OK

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "Cla
...

Voorbeeldverzoek GET /v1/robots

Belangrijkste functies 4

Veelgestelde vragen 4

HTTP-statuscodes 200 / 400 / 401 / 402 / 429 / 502

Categorie Webdata

Endpoints 1

Belangrijkste functies 4

Veelgestelde vragen 4

Gebruikt door mensen bij deze bedrijven

Vertrouwenssignalen voordat je integreert

Transparante documentatie, geauthenticeerde requests en zichtbare betrouwbaarheidsdetails maken DomScan makkelijker te beoordelen voor livegang.

Actief Servicestatus

Controleer vóór de integratie de live servicestatus en de gedocumenteerde foutreacties.

OpenAPI API-artifacts

OpenAPI, Swagger, Postman, CLI, SDK en MCP-links zijn één klik verwijderd.

API-sleutels Beschermde toegang

Geauthenticeerde endpoints gebruiken API-sleutels met duidelijke creditkosten voordat je ze aanroept.

10,000 Gratis tegoed

Begin met 10.000 maandelijkse credits en upgrade pas wanneer het gebruik groeit.

Wat deze API je helpt bouwen

Gebruik deze pagina als productiebriefing: endpoints, voorbeelden, responsstructuur en workflow-onderdelen om DomScan in je product te koppelen.

Productworkflows

Integreer domeinchecks, DNS-intelligence, risicosignalen of verrijking in onboarding, zoeken en interne tools.

Analistautomatisering

Vervang herhaalde handmatige lookups door geplande taken, alerts en reproduceerbare onderzoeksstappen.

Schone JSON-data

Gebruik voorspelbare velden, gedocumenteerde statuscodes en kredietkosten in plaats van providerpagina’s te scrapen.

AI- en ops-tools

Voed agents, dashboards, SOAR-playbooks en CRMs via OpenAPI, SDK, Postman of MCP.

Integratieworkflow

Een eenvoudig pad van de eerste request naar herhaalbaar productiegebruik.

Eenmalig authenticeren

Stuur je API-sleutel met de gedocumenteerde header en houd requests consistent tussen services.

Query met voorbeelden

Start met de curl- en HTTP-voorbeelden en map daarna de parameters naar je applicatiecode.

Opereren en monitoren

Gebruik statuscodes, kredietkosten en responsvelden om retries, logs en alerts te bouwen.

Developerkit

Ga vanaf deze pagina naar machineleesbare docs, requestcollecties, SDKs of agenttools.

OpenAPI-schema

Genereer clients of inspecteer elke request- en responsvorm.

Postman-collectie

Importeer kant-en-klare requests voor handmatig testen en overdracht aan het team.

SDKs en CLI

Gebruik onderhouden pakketten en commandline-workflows in plaats van boilerplate te schrijven.

MCP-integratie

Stel domeinintelligence beschikbaar aan AI-agents en interne assistentworkflows.

Parameter- en responskaart

Bekijk inputs, outputvelden en statuscodes voordat je het endpoint in je client aansluit.

Requestparameters

Parameter

urldomainuser_agentpathskip_cache

Responsvelden

Voorbeeldantwoord

statussitemapstesttest.user_agenttest.pathtest.allowedtest.matched_ruletest.matched_rule.typetest.matched_rule.pathtest.matched_rule.lineai_crawlers

Statusdekking

HTTP-statuscodes

200400401402429502

Endpoints

GET /v1/robots

Tegoeden: 1Authenticatie: Authenticatie vereist

Vertrouwenssignalen voordat je integreert

Transparante documentatie, geauthenticeerde requests en zichtbare betrouwbaarheidsdetails maken DomScan makkelijker te beoordelen voor livegang.

Servicestatus API-artifacts

OpenAPI, Swagger, Postman, CLI, SDK en MCP-links zijn één klik verwijderd.

API-sleutels Beschermde toegang

Geauthenticeerde endpoints gebruiken API-sleutels met duidelijke creditkosten voordat je ze aanroept.

Gratis tegoed Gratis registreren

Begin met 10.000 maandelijkse credits en upgrade pas wanneer het gebruik groeit.

Actief Voorbeeldverzoek

Start met de curl- en HTTP-voorbeelden en map daarna de parameters naar je applicatiecode.

Belangrijkste functies

Standaardmatching

Regels worden gematcht volgens RFC 9309: de meest specifieke user-agent-groep, de langste padmatch, allow bij gelijkspel en ondersteuning voor * en $.

Dekking van AI-crawlers

Toegang tot de root voor GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot, CCBot en meer, met eigenaar en doel.

Padtests

Geef een user-agent en een pad mee voor het oordeel, de regel die het bepaalde en de groep waar die uit komt.

Duidelijke foutstatussen

Geblokkeerde, begrensde en mislukte ophaalacties geven onbekend terug en worden terugbetaald, dus een ontbrekend antwoord wordt nooit als toegestaan gemeld.

Voorbeeldverzoek

GET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/ bash

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Voorbeeldantwoord

200 OK json

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "ClaudeBot", "owner": "anthropic", "root_access": "allowed", "group": "wildcard" }
  ]
}

Veelgestelde vragen

Hoe wordt een ontbrekende robots.txt gemeld?

Een 404- of 410-antwoord geeft not_found terug, wat volgens RFC 9309 betekent dat crawlers overal bij mogen. Antwoorden 401, 403, 429 en 5xx geven unknown terug.

Welke AI-crawlers zijn inbegrepen?

14 agents van OpenAI, Anthropic, Google, Perplexity, Common Crawl, ByteDance, Apple, Meta en Amazon, gegroepeerd als training, zoeken of door gebruikers gestarte ophaalacties.

Wordt het resultaat gecachet?

Definitieve resultaten worden 15 minuten gecachet. Voeg skip_cache=1 toe om het bestand opnieuw op te halen. De padtest wordt altijd voor uw verzoek berekend.

Hoeveel credits kost het?

Eén credit per verzoek. Verzoeken die in een onbekende status eindigen worden terugbetaald.

Gerelateerde hulpprogramma's en bronnen

HTTP-statuscodes

Dit zijn de HTTP-statuscodes die je moet afhandelen, zodat je succesvolle responses, authenticatieproblemen, credits, ratelimieten, ontbrekende gegevens en upstreamfouten kunt onderscheiden.

OK 200

Aanvraag geslaagd

Ongeldig verzoek 400

Ongeldige parameters

Niet geautoriseerd 401

Ontbrekende dan wel ongeldige API-sleutel of sessie.

Betaling vereist 402

Niet genoeg credits om deze aanvraag uit te voeren.

Te veel verzoeken 429

Snelheidslimiet overschreden

Gatewayfout 502

Upstream RDAP-fout

Controleer een robots.txt

Gratis starten Documentatie bekijken Gratis tool proberen