Begin met het live formulier
Voer een domein, URL, IP, e-mail of record in en krijg zonder setup een gericht resultaat.
Alle tools
Webdata
Domeinintelligentie
DNS & infrastructuur
Beveiliging & vertrouwen
Identiteit & verificatie
Monitoring & automatisering
Robots.txt-checker
Voer een website in om de robots.txt te lezen, te testen of een crawler een pad mag ophalen en te zien hoe GPTBot, ClaudeBot, PerplexityBot en andere AI-crawlers worden behandeld.
Resultaten
Interactieve intelligence-tool
Voer de check uit en maak er daarna een workflow van
Gebruik de browsertool voor een snel antwoord en verplaats dezelfde logica naar scripts, monitoring of productflows zodra die herhaalbaar wordt.
Bekijk beslisklare signalen
Resultaten tonen statussen, risico’s, records en vervolgstappen in plaats van ruwe provider-ruis.
Automatiseer de workflow die werkt
Gebruik request- en responsevoorbeelden om een losse check om te zetten in een API-call of recept.
Gebruikt door mensen bij deze bedrijven
Wat deze tool je helpt beslissen
Elke pagina draait om een praktische operationele vraag, niet alleen om een ruwe lookup.
Bekijk huidig DNS-, registratie-, beveiligings-, prijs- of reputatiebewijs.
Vergelijk het resultaat met gerelateerde checks zodat de volgende stap betrouwbaarder voelt.
Kopieer voorbeelden, open gekoppelde tools of ga naar API-documentatie wanneer schaal nodig is.
Vertrouwenssignalen voordat je integreert
Transparante documentatie, geauthenticeerde requests en zichtbare betrouwbaarheidsdetails maken DomScan makkelijker te beoordelen voor livegang.
Servicestatus
API-artifacts
OpenAPI, Swagger, Postman, CLI, SDK en MCP-links zijn één klik verwijderd.
API-sleutels
Beschermde toegang
Geauthenticeerde endpoints gebruiken API-sleutels met duidelijke creditkosten voordat je ze aanroept.
Gratis tegoed
Gratis registreren
Begin met 10.000 maandelijkse credits en upgrade pas wanneer het gebruik groeit.
Actief
Voorbeeldverzoek
Start met de curl- en HTTP-voorbeelden en map daarna de parameters naar je applicatiecode.
Belangrijkste functies
Parsing volgens RFC 9309
Groepen, allow- en disallow-regels, jokertekens en eindankers worden gematcht zoals de standaard beschrijft, waarbij de langste regel wint.
AI-crawlermatrix
Toegang tot de root voor 14 AI-crawlers, waaronder trainings-, zoek- en door gebruikers gestarte agents van OpenAI, Anthropic, Google, Perplexity en andere.
Eerlijke onbekende statussen
Als het bestand niet kan worden opgehaald door een blokkade, een timeout of een serverfout, is het resultaat onbekend en nooit een stilzwijgende toestemming.
Voorbeeldverzoek
GET /v1/robots?url=example.comGET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/Gebouwd op dezelfde API
De browserervaring toont alvast DomScan’s gestructureerde endpoints, zodat teams een use case kunnen valideren voordat ze code schrijven.
Veelgestelde vragen
Wat gebeurt er als een site geen robots.txt heeft?
Een 404- of 410-antwoord betekent dat er geen crawlbeperkingen zijn, dus alle paden zijn toegestaan. De checker meldt dit als niet gevonden.
Hoe blokkeer ik AI-crawlers?
Voeg voor elke crawler een user-agent-groep toe, bijvoorbeeld GPTBot of ClaudeBot, met een Disallow-regel. De AI-crawlertabel toont welke bots uw huidige regels al dekken.
Stopt robots.txt alle bots?
Nee. Robots.txt is een verzoek dat welgemanierde crawlers volgen. Het dwingt geen toegangscontrole af, dus privécontent vereist authenticatie.