Dados da web

API Robots.txt Tester

Envie uma lista de URLs e user agents e obtenha um veredito para cada combinação. Teste o robots.txt em direto de um site ou um rascunho que cole, veja a regra Allow ou Disallow que decide e a sua linha, e detete erros de sintaxe antes dos rastreadores.

Ver documentação Testar a ferramenta gratuita Explorar todas as APIs

Pontos finais Ativo

POST /v1/robots/test

Exemplo de requisição

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Exemplo de resposta 200 OK

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reas
...

Exemplo de requisição POST /v1/robots/test

Principais Recursos 4

Perguntas frequentes 4

Códigos de status HTTP 200 / 400 / 401 / 402 / 409 / 422 / 429

Categoria Dados da web

Pontos finais 1

Principais Recursos 4

Perguntas frequentes 4

Usado por pessoas nestas empresas

Sinais de confiança antes da integração

Documentação transparente, solicitações autenticadas e detalhes visíveis de confiabilidade facilitam avaliar o DomScan antes de publicar.

Ao vivo Status do serviço

Consulte o estado do serviço ao vivo e as respostas de falha documentadas antes de fazer a integração.

OpenAPI Artefatos da API

OpenAPI, Swagger, Postman, CLI, SDK e links MCP ficam a um clique.

Chaves API Acesso protegido

Endpoints autenticados usam chaves API com custos de créditos claros antes da chamada.

10,000 Cota gratuita

Comece com 10.000 créditos mensais e faça upgrade só quando o uso crescer.

O que esta API ajuda você a lançar

Use esta página como briefing de produção: endpoints, exemplos, formato da resposta e peças de workflow para conectar o DomScan ao seu produto.

Workflows de produto

Incorpore checagens de domínio, inteligência DNS, sinais de risco ou enriquecimento em onboarding, busca e ferramentas internas.

Automação de analistas

Substitua consultas manuais repetidas por jobs agendados, alertas e etapas de investigação reproduzíveis.

Dados JSON limpos

Use campos previsíveis, códigos de status documentados e custos em créditos em vez de raspar páginas de fornecedores.

IA e operações

Alimente agentes, dashboards, playbooks SOAR e CRMs via OpenAPI, SDK, Postman ou MCP.

Fluxo de integração

Um caminho simples da primeira requisição ao uso repetível em produção.

Autentique uma vez

Envie sua chave API com o cabeçalho documentado e mantenha requisições consistentes entre serviços.

Consulte com exemplos

Comece pelos exemplos curl e HTTP, depois mapeie os parâmetros no código da sua aplicação.

Opere e monitore

Use códigos de status, custos em créditos e campos de resposta para criar retentativas, logs e alertas.

Kit de desenvolvedor

Saia desta página para docs legíveis por máquina, coleções de requisições, SDKs ou ferramentas para agentes.

Esquema OpenAPI

Gere clientes ou inspecione cada formato de requisição e resposta.

Coleção Postman

Importe requisições prontas para testes manuais e repasse ao time.

SDKs e CLI

Use pacotes mantidos e fluxos de linha de comando em vez de escrever boilerplate.

Integração MCP

Exponha inteligência de domínios para agentes de IA e assistentes internos.

Mapa de parâmetros e resposta

Revise entradas, campos de saída e códigos de status antes de ligar o endpoint ao seu cliente.

Parâmetros da requisição

Parâmetro

robots_txturlurlsuser_agents

Campos da resposta

Exemplo de resposta

sourcestatussummarysummary.testssummary.allowedsummary.disallowedsummary.unknownresultsissues

Cobertura de status

Códigos de status HTTP

200400401402409422429

Pontos finais

POST /v1/robots/test

Créditos: 1Autenticação: Autenticação necessária

Sinais de confiança antes da integração

Documentação transparente, solicitações autenticadas e detalhes visíveis de confiabilidade facilitam avaliar o DomScan antes de publicar.

Status do serviço Artefatos da API

OpenAPI, Swagger, Postman, CLI, SDK e links MCP ficam a um clique.

Chaves API Acesso protegido

Endpoints autenticados usam chaves API com custos de créditos claros antes da chamada.

Cota gratuita Cadastre-se gratuitamente

Comece com 10.000 créditos mensais e faça upgrade só quando o uso crescer.

Ativo Exemplo de requisição

Comece pelos exemplos curl e HTTP, depois mapeie os parâmetros no código da sua aplicação.

Principais Recursos

Ficheiro colado ou em direto

Envie robots_txt para testar um rascunho sem obter nada, ou envie url para testar o ficheiro que está ativo no site.

Vereditos em lote

Até 100 URLs e 10 user agents por pedido, com totais por rastreador e uma linha para cada combinação.

Correspondência padrão

As regras são avaliadas como descreve o padrão oficial do robots.txt (RFC 9309): vence a correspondência mais longa, Allow vence os empates e os carateres universais * e $ são suportados.

Verificações de sintaxe

Gralhas, regras fora de um grupo, linhas inválidas e outros problemas são listados com os respetivos números de linha.

Exemplo de requisição

POST /v1/robots/test bash

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Exemplo de resposta

200 OK json

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reason": "matched_disallow",
      "matched_rule": { "type": "disallow", "path": "/admin/", "line": 5 }
    }
  ],
  "issues": [{ "code": "directive_typo", "count": 1, "lines": [9] }]
}

Perguntas frequentes

Em que difere da API Robots.txt?

A API Robots.txt lê o ficheiro em direto de um site e testa um rastreador e um caminho. O testador verifica muitos URLs e rastreadores num único pedido e também pode testar um robots.txt que cole.

Que user agent é utilizado na correspondência?

O nome do rastreador, sem distinguir maiúsculas de minúsculas. Uma cadeia completa ao estilo de um navegador, como a do Googlebot, é primeiro reduzida ao nome do rastreador, e a resposta mostra o nome utilizado.

O que acontece com URLs de outro host?

Quando se usa o ficheiro em direto, um URL de um host diferente do do site é reportado como other_host sem veredito, porque cada host tem o seu próprio robots.txt.

Quanto custa?

1 crédito por pedido, para até 1000 vereditos. Quando o robots.txt em direto não pode ser lido, os vereditos são desconhecidos e o crédito é reembolsado.

Ferramentas e recursos relacionados

Códigos de status HTTP

Estes são os códigos de status HTTP que você deve tratar para distinguir respostas bem-sucedidas, problemas de autenticação, créditos, limites de taxa, dados ausentes e falhas de origem.

OK 200

Pedido bem-sucedido

Pedido inválido 400

Parâmetros inválidos

Não autorizado 401

Chave de API ou sessão em falta ou inválida.

Pagamento necessário 402

Não tens créditos suficientes para executar este pedido.

HTTP 409 409

Estes são os códigos de status HTTP que você deve tratar para distinguir respostas bem-sucedidas, problemas de autenticação, créditos, limites de taxa, dados ausentes e falhas de origem.

HTTP 422 422

Estes são os códigos de status HTTP que você deve tratar para distinguir respostas bem-sucedidas, problemas de autenticação, créditos, limites de taxa, dados ausentes e falhas de origem.

Demasiados pedidos 429

Limite de taxa excedido

Teste o seu robots.txt

Começar gratuitamente Ver documentação Testar a ferramenta gratuita