Webdata

Robots.txt Testtool API

Stuur een lijst met URL's en user agents en krijg een uitslag voor elke combinatie. Test de live robots.txt van een site of een geplakt concept, zie de Allow- of Disallow-regel die beslist en het regelnummer, en vang syntaxisfouten op voordat zoekbots dat doen.

Documentatie bekijken Gratis tool proberen Ontdek alle API's

Endpoints Actief

POST /v1/robots/test

Voorbeeldverzoek

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Voorbeeldantwoord 200 OK

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reas
...

Voorbeeldverzoek POST /v1/robots/test

Belangrijkste functies 4

Veelgestelde vragen 4

HTTP-statuscodes 200 / 400 / 401 / 402 / 409 / 422 / 429

Categorie Webdata

Endpoints 1

Belangrijkste functies 4

Veelgestelde vragen 4

Gebruikt door mensen bij deze bedrijven

Vertrouwenssignalen voordat je integreert

Transparante documentatie, geauthenticeerde requests en zichtbare betrouwbaarheidsdetails maken DomScan makkelijker te beoordelen voor livegang.

Actief Servicestatus

Controleer vóór de integratie de live servicestatus en de gedocumenteerde foutreacties.

OpenAPI API-artifacts

OpenAPI, Swagger, Postman, CLI, SDK en MCP-links zijn één klik verwijderd.

API-sleutels Beschermde toegang

Geauthenticeerde endpoints gebruiken API-sleutels met duidelijke creditkosten voordat je ze aanroept.

10,000 Gratis tegoed

Begin met 10.000 maandelijkse credits en upgrade pas wanneer het gebruik groeit.

Wat deze API je helpt bouwen

Gebruik deze pagina als productiebriefing: endpoints, voorbeelden, responsstructuur en workflow-onderdelen om DomScan in je product te koppelen.

Productworkflows

Integreer domeinchecks, DNS-intelligence, risicosignalen of verrijking in onboarding, zoeken en interne tools.

Analistautomatisering

Vervang herhaalde handmatige lookups door geplande taken, alerts en reproduceerbare onderzoeksstappen.

Schone JSON-data

Gebruik voorspelbare velden, gedocumenteerde statuscodes en kredietkosten in plaats van providerpagina’s te scrapen.

AI- en ops-tools

Voed agents, dashboards, SOAR-playbooks en CRMs via OpenAPI, SDK, Postman of MCP.

Integratieworkflow

Een eenvoudig pad van de eerste request naar herhaalbaar productiegebruik.

Eenmalig authenticeren

Stuur je API-sleutel met de gedocumenteerde header en houd requests consistent tussen services.

Query met voorbeelden

Start met de curl- en HTTP-voorbeelden en map daarna de parameters naar je applicatiecode.

Opereren en monitoren

Gebruik statuscodes, kredietkosten en responsvelden om retries, logs en alerts te bouwen.

Developerkit

Ga vanaf deze pagina naar machineleesbare docs, requestcollecties, SDKs of agenttools.

OpenAPI-schema

Genereer clients of inspecteer elke request- en responsvorm.

Postman-collectie

Importeer kant-en-klare requests voor handmatig testen en overdracht aan het team.

SDKs en CLI

Gebruik onderhouden pakketten en commandline-workflows in plaats van boilerplate te schrijven.

MCP-integratie

Stel domeinintelligence beschikbaar aan AI-agents en interne assistentworkflows.

Parameter- en responskaart

Bekijk inputs, outputvelden en statuscodes voordat je het endpoint in je client aansluit.

Requestparameters

Parameter

robots_txturlurlsuser_agents

Responsvelden

Voorbeeldantwoord

sourcestatussummarysummary.testssummary.allowedsummary.disallowedsummary.unknownresultsissues

Statusdekking

HTTP-statuscodes

200400401402409422429

Endpoints

POST /v1/robots/test

Tegoeden: 1Authenticatie: Authenticatie vereist

Vertrouwenssignalen voordat je integreert

Transparante documentatie, geauthenticeerde requests en zichtbare betrouwbaarheidsdetails maken DomScan makkelijker te beoordelen voor livegang.

Servicestatus API-artifacts

OpenAPI, Swagger, Postman, CLI, SDK en MCP-links zijn één klik verwijderd.

API-sleutels Beschermde toegang

Geauthenticeerde endpoints gebruiken API-sleutels met duidelijke creditkosten voordat je ze aanroept.

Gratis tegoed Gratis registreren

Begin met 10.000 maandelijkse credits en upgrade pas wanneer het gebruik groeit.

Actief Voorbeeldverzoek

Start met de curl- en HTTP-voorbeelden en map daarna de parameters naar je applicatiecode.

Belangrijkste functies

Geplakt of live bestand

Stuur robots_txt om een concept te testen zonder iets op te halen, of stuur url om het bestand te testen dat live op de site staat.

Uitslagen in één keer

Tot 100 URL's en 10 user agents per verzoek, met totalen per zoekbot en een rij voor elke combinatie.

Standaard matching

Regels worden gematcht zoals de officiële robots.txt-standaard (RFC 9309) beschrijft: de langste match wint, Allow wint bij gelijkstand en de jokertekens * en $ worden ondersteund.

Syntaxiscontroles

Typefouten, regels buiten een groep, ongeldige regels en andere problemen worden getoond met hun regelnummers.

Voorbeeldverzoek

POST /v1/robots/test bash

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Voorbeeldantwoord

200 OK json

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reason": "matched_disallow",
      "matched_rule": { "type": "disallow", "path": "/admin/", "line": 5 }
    }
  ],
  "issues": [{ "code": "directive_typo", "count": 1, "lines": [9] }]
}

Veelgestelde vragen

Wat is het verschil met de Robots.txt API?

De Robots.txt API leest het live bestand van een site en test één zoekbot en pad. De testtool controleert veel URL's en zoekbots in één verzoek en kan ook een robots.txt testen die je plakt.

Welke user agent wordt gematcht?

De naam van de zoekbot, zonder onderscheid tussen hoofdletters en kleine letters. Een volledige string in browserstijl, zoals die van Googlebot, wordt eerst teruggebracht tot de naam van de zoekbot, en het antwoord toont de naam die is gebruikt.

Wat gebeurt er met URL's op een andere host?

Bij gebruik van het live bestand wordt een URL op een andere host dan de site gemeld als other_host zonder uitslag, omdat elke host een eigen robots.txt heeft.

Wat kost het?

1 credit per verzoek, voor maximaal 1.000 uitslagen. Als de live robots.txt niet kan worden gelezen, zijn de uitslagen onbekend en wordt de credit terugbetaald.

Gerelateerde hulpprogramma's en bronnen

HTTP-statuscodes

Dit zijn de HTTP-statuscodes die je moet afhandelen, zodat je succesvolle responses, authenticatieproblemen, credits, ratelimieten, ontbrekende gegevens en upstreamfouten kunt onderscheiden.

OK 200

Aanvraag geslaagd

Ongeldig verzoek 400

Ongeldige parameters

Niet geautoriseerd 401

Ontbrekende dan wel ongeldige API-sleutel of sessie.

Betaling vereist 402

Niet genoeg credits om deze aanvraag uit te voeren.

HTTP 409 409

Dit zijn de HTTP-statuscodes die je moet afhandelen, zodat je succesvolle responses, authenticatieproblemen, credits, ratelimieten, ontbrekende gegevens en upstreamfouten kunt onderscheiden.

HTTP 422 422

Dit zijn de HTTP-statuscodes die je moet afhandelen, zodat je succesvolle responses, authenticatieproblemen, credits, ratelimieten, ontbrekende gegevens en upstreamfouten kunt onderscheiden.

Te veel verzoeken 429

Snelheidslimiet overschreden

Test je robots.txt

Gratis starten Documentatie bekijken Gratis tool proberen