Webbdata

Robots.txt-API

Hämta och tolka valfri webbplats robots.txt med en enda begäran. Få robotgrupper, regler, deklarerade sitemaps, ett allow- eller disallow-utlåtande för en user-agent och sökväg samt åtkomst till rotnivån för de viktigaste AI-robotarna.

Visa dokumentation Prova gratisverktyget Utforska alla API:er

Slutpunkter Aktiv

GET /v1/robots

Exempelbegäran

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Exempelsvar 200 OK

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "Cla
...

Exempelbegäran GET /v1/robots

Nyckelfunktioner 4

Vanliga frågor 4

HTTP-statuskoder 200 / 400 / 401 / 402 / 429 / 502

Category Webbdata

Slutpunkter 1

Nyckelfunktioner 4

Vanliga frågor 4

Används av människor på dessa företag

Förtroendesignaler före integration

Transparent dokumentation, autentiserade anrop och synliga tillförlitlighetsdetaljer gör DomScan lättare att utvärdera före lansering.

I drift Tjänstestatus

Kontrollera tjänstens aktuella status och dokumenterade felsvar innan du integrerar.

OpenAPI API-material

OpenAPI, Swagger, Postman, CLI, SDK och MCP-länkar finns ett klick bort.

API-nycklar Skyddad åtkomst

Autentiserade endpoints använder API-nycklar med tydliga kreditkostnader före anrop.

10,000 Gratis kvot

Börja med 10 000 krediter per månad och uppgradera först när användningen växer.

Vad detta API hjälper dig att leverera

Använd sidan som en produktionsbrief: endpoints, exempel, responsform och workflow-delar som krävs för att koppla DomScan till din produkt.

Produktworkflows

Bädda in domänkontroller, DNS-intelligence, risksignaler eller berikning i onboarding, sök och interna verktyg.

Analystautomatisering

Ersätt upprepade manuella lookups med schemalagda jobb, alerts och reproducerbara utredningssteg.

Ren JSON-data

Använd förutsägbara fält, dokumenterade statuskoder och kreditkostnader istället för att skrapa leverantörssidor.

AI- och ops-verktyg

Mata agenter, dashboards, SOAR-playbooks och CRM:er via OpenAPI, SDK, Postman eller MCP.

Integrationsworkflow

En enkel väg från första request till repeterbar produktion.

Autentisera en gång

Skicka din API-nyckel med dokumenterad header och håll requests konsekventa mellan tjänster.

Fråga med exempel

Börja med curl- och HTTP-exempel och mappa sedan parametrarna till din applikationskod.

Drifta och övervaka

Använd statuskoder, kreditkostnader och responsfält för retries, loggar och alerts.

Utvecklarkit

Gå från sidan till maskinläsbara docs, request-samlingar, SDK:er eller agentverktyg.

OpenAPI-schema

Generera klienter eller inspektera varje request- och responsform.

Postman-samling

Importera färdiga requests för manuell testning och teamöverlämning.

SDK:er och CLI

Använd underhållna paket och command-line workflows istället för boilerplate.

MCP-integration

Exponera domänintelligence för AI-agenter och interna assistentworkflows.

Parameter- och responskarta

Granska inputs, outputfält och statuskoder innan endpointen kopplas in i din klient.

Requestparametrar

Parameter

urldomainuser_agentpathskip_cache

Responsfält

Exempelsvar

statussitemapstesttest.user_agenttest.pathtest.allowedtest.matched_ruletest.matched_rule.typetest.matched_rule.pathtest.matched_rule.lineai_crawlers

Statustäckning

HTTP-statuskoder

200400401402429502

Slutpunkter

GET /v1/robots

Krediter: 1Autentisering: Autentisering krävs

Förtroendesignaler före integration

Transparent dokumentation, autentiserade anrop och synliga tillförlitlighetsdetaljer gör DomScan lättare att utvärdera före lansering.

Tjänstestatus API-material

OpenAPI, Swagger, Postman, CLI, SDK och MCP-länkar finns ett klick bort.

API-nycklar Skyddad åtkomst

Autentiserade endpoints använder API-nycklar med tydliga kreditkostnader före anrop.

Gratis kvot Registrera dig gratis

Börja med 10 000 krediter per månad och uppgradera först när användningen växer.

Aktiv Exempelbegäran

Börja med curl- och HTTP-exempel och mappa sedan parametrarna till din applikationskod.

Nyckelfunktioner

Standardmatchning

Regler matchas enligt RFC 9309: den mest specifika user-agent-gruppen, den längsta sökvägsmatchningen, allow vid lika och stöd för * och $.

Täckning av AI-robotar

Åtkomst till rotnivån för GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot, CCBot med flera, med ägare och syfte.

Test av sökvägar

Skicka en user-agent och en sökväg för att få utlåtandet, regeln som avgjorde det och gruppen den kom från.

Tydliga felstillstånd

Blockerade, hastighetsbegränsade och misslyckade hämtningar returnerar okänt och krediteras tillbaka, så att ett uteblivet svar aldrig rapporteras som tillåtet.

Exempelbegäran

GET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/ bash

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Exempelsvar

200 OK json

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "ClaudeBot", "owner": "anthropic", "root_access": "allowed", "group": "wildcard" }
  ]
}

Vanliga frågor

Hur rapporteras en saknad robots.txt?

Ett 404- eller 410-svar returnerar not_found, vilket enligt RFC 9309 innebär att sökrobotar får komma åt allt. Svar med 401, 403, 429 och 5xx returnerar unknown.

Vilka AI-robotar ingår?

14 agenter från OpenAI, Anthropic, Google, Perplexity, Common Crawl, ByteDance, Apple, Meta och Amazon, grupperade som träning, sökning eller användarstyrda hämtningar.

Cachas resultatet?

Definitiva resultat cachas i 15 minuter. Lägg till skip_cache=1 för att hämta filen igen. Sökvägstestet beräknas alltid för din begäran.

Hur många krediter kostar det?

En kredit per begäran. Begäranden som slutar i ett okänt tillstånd återbetalas.

Relaterade verktyg och resurser

HTTP-statuskoder

Det här är de HTTP-statuskoder som du bör hantera, så att du kan skilja mellan lyckade svar, autentiseringsproblem, krediter, hastighetsgränser, saknade data och fel hos externa tjänster.

OK 200

Begäran lyckades

Felaktig begäran 400

Ogiltiga parametrar

Obehörig 401

API-nyckel eller session saknas eller är ogiltig.

Betalning krävs 402

Det finns inte tillräckligt med krediter för att köra denna begäran.

För många begäranden 429

Hastighetsgränsen överskriden

Felaktig gateway 502

RDAP-fel uppströms

Kontrollera en robots.txt

Borja gratis Visa dokumentation Prova gratisverktyget