Webbdata

API för robots.txt-testare

Skicka en lista med URL:er och user agents och få ett utlåtande för varje kombination. Testa en webbplats aktiva robots.txt eller ett utkast som du klistrar in, se vilken Allow- eller Disallow-regel som avgör och på vilken rad, och fånga syntaxfel innan crawlers gör det.

Visa dokumentation Prova gratisverktyget Utforska alla API:er

Slutpunkter Aktiv

POST /v1/robots/test

Exempelbegäran

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Exempelsvar 200 OK

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reas
...

Exempelbegäran POST /v1/robots/test

Nyckelfunktioner 4

Vanliga frågor 4

HTTP-statuskoder 200 / 400 / 401 / 402 / 409 / 422 / 429

Category Webbdata

Slutpunkter 1

Nyckelfunktioner 4

Vanliga frågor 4

Används av människor på dessa företag

Förtroendesignaler före integration

Transparent dokumentation, autentiserade anrop och synliga tillförlitlighetsdetaljer gör DomScan lättare att utvärdera före lansering.

I drift Tjänstestatus

Kontrollera tjänstens aktuella status och dokumenterade felsvar innan du integrerar.

OpenAPI API-material

OpenAPI, Swagger, Postman, CLI, SDK och MCP-länkar finns ett klick bort.

API-nycklar Skyddad åtkomst

Autentiserade endpoints använder API-nycklar med tydliga kreditkostnader före anrop.

10,000 Gratis kvot

Börja med 10 000 krediter per månad och uppgradera först när användningen växer.

Vad detta API hjälper dig att leverera

Använd sidan som en produktionsbrief: endpoints, exempel, responsform och workflow-delar som krävs för att koppla DomScan till din produkt.

Produktworkflows

Bädda in domänkontroller, DNS-intelligence, risksignaler eller berikning i onboarding, sök och interna verktyg.

Analystautomatisering

Ersätt upprepade manuella lookups med schemalagda jobb, alerts och reproducerbara utredningssteg.

Ren JSON-data

Använd förutsägbara fält, dokumenterade statuskoder och kreditkostnader istället för att skrapa leverantörssidor.

AI- och ops-verktyg

Mata agenter, dashboards, SOAR-playbooks och CRM:er via OpenAPI, SDK, Postman eller MCP.

Integrationsworkflow

En enkel väg från första request till repeterbar produktion.

Autentisera en gång

Skicka din API-nyckel med dokumenterad header och håll requests konsekventa mellan tjänster.

Fråga med exempel

Börja med curl- och HTTP-exempel och mappa sedan parametrarna till din applikationskod.

Drifta och övervaka

Använd statuskoder, kreditkostnader och responsfält för retries, loggar och alerts.

Utvecklarkit

Gå från sidan till maskinläsbara docs, request-samlingar, SDK:er eller agentverktyg.

OpenAPI-schema

Generera klienter eller inspektera varje request- och responsform.

Postman-samling

Importera färdiga requests för manuell testning och teamöverlämning.

SDK:er och CLI

Använd underhållna paket och command-line workflows istället för boilerplate.

MCP-integration

Exponera domänintelligence för AI-agenter och interna assistentworkflows.

Parameter- och responskarta

Granska inputs, outputfält och statuskoder innan endpointen kopplas in i din klient.

Requestparametrar

Parameter

robots_txturlurlsuser_agents

Responsfält

Exempelsvar

sourcestatussummarysummary.testssummary.allowedsummary.disallowedsummary.unknownresultsissues

Statustäckning

HTTP-statuskoder

200400401402409422429

Slutpunkter

POST /v1/robots/test

Krediter: 1Autentisering: Autentisering krävs

Förtroendesignaler före integration

Transparent dokumentation, autentiserade anrop och synliga tillförlitlighetsdetaljer gör DomScan lättare att utvärdera före lansering.

Tjänstestatus API-material

OpenAPI, Swagger, Postman, CLI, SDK och MCP-länkar finns ett klick bort.

API-nycklar Skyddad åtkomst

Autentiserade endpoints använder API-nycklar med tydliga kreditkostnader före anrop.

Gratis kvot Registrera dig gratis

Börja med 10 000 krediter per månad och uppgradera först när användningen växer.

Aktiv Exempelbegäran

Börja med curl- och HTTP-exempel och mappa sedan parametrarna till din applikationskod.

Nyckelfunktioner

Inklistrad eller aktiv fil

Skicka robots_txt för att testa ett utkast utan att hämta något, eller skicka url för att testa filen som är aktiv på webbplatsen.

Utlåtanden i bulk

Upp till 100 URL:er och 10 user agents per förfrågan, med summor per crawler och en rad för varje kombination.

Standardmatchning

Reglerna matchas som den officiella robots.txt-standarden (RFC 9309) beskriver: längsta matchning vinner, Allow vinner vid lika, och jokertecknen * och $ stöds.

Syntaxkontroller

Stavfel, regler utanför en grupp, ogiltiga rader och andra problem listas med sina radnummer.

Exempelbegäran

POST /v1/robots/test bash

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Exempelsvar

200 OK json

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reason": "matched_disallow",
      "matched_rule": { "type": "disallow", "path": "/admin/", "line": 5 }
    }
  ],
  "issues": [{ "code": "directive_typo", "count": 1, "lines": [9] }]
}

Vanliga frågor

Hur skiljer sig detta från Robots.txt API?

Robots.txt API läser en webbplats aktiva fil och testar en crawler och en sökväg. Testaren kontrollerar många URL:er och crawlers i en enda förfrågan och kan även testa en robots.txt som du klistrar in.

Vilken user agent matchas?

Crawlerns namn, utan hänsyn till skiftläge. En fullständig sträng i webbläsarstil, till exempel Googlebots, reduceras först till crawlerns namn, och svaret visar vilket namn som användes.

Vad händer med URL:er på en annan värd?

När den aktiva filen används rapporteras en URL på en annan värd än webbplatsen som other_host utan utlåtande, eftersom varje värd har sin egen robots.txt.

Vad kostar det?

1 kredit per förfrågan, för upp till 1 000 utlåtanden. När den aktiva robots.txt-filen inte kan läsas är utlåtandena okända och krediten återbetalas.

Relaterade verktyg och resurser

HTTP-statuskoder

Det här är de HTTP-statuskoder som du bör hantera, så att du kan skilja mellan lyckade svar, autentiseringsproblem, krediter, hastighetsgränser, saknade data och fel hos externa tjänster.

OK 200

Begäran lyckades

Felaktig begäran 400

Ogiltiga parametrar

Obehörig 401

API-nyckel eller session saknas eller är ogiltig.

Betalning krävs 402

Det finns inte tillräckligt med krediter för att köra denna begäran.

HTTP 409 409

Det här är de HTTP-statuskoder som du bör hantera, så att du kan skilja mellan lyckade svar, autentiseringsproblem, krediter, hastighetsgränser, saknade data och fel hos externa tjänster.

HTTP 422 422

Det här är de HTTP-statuskoder som du bör hantera, så att du kan skilja mellan lyckade svar, autentiseringsproblem, krediter, hastighetsgränser, saknade data och fel hos externa tjänster.

För många begäranden 429

Hastighetsgränsen överskriden

Testa din robots.txt

Borja gratis Visa dokumentation Prova gratisverktyget