Dados da web

API de robots.txt

Obtenha e analise o robots.txt de qualquer site com um único pedido. Receba grupos de crawlers, regras, sitemaps declarados, um veredicto de permissão ou bloqueio para um user-agent e um caminho, e o acesso à raiz para os principais crawlers de IA.

Ver documentação Testar a ferramenta gratuita Explorar todas as APIs

Pontos finais Ativo

GET /v1/robots

Exemplo de requisição

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Exemplo de resposta 200 OK

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "Cla
...

Exemplo de requisição GET /v1/robots

Principais Recursos 4

Perguntas frequentes 4

Códigos de status HTTP 200 / 400 / 401 / 402 / 429 / 502

Categoria Dados da web

Pontos finais 1

Principais Recursos 4

Perguntas frequentes 4

Usado por pessoas nestas empresas

Sinais de confiança antes da integração

Documentação transparente, solicitações autenticadas e detalhes visíveis de confiabilidade facilitam avaliar o DomScan antes de publicar.

Ao vivo Status do serviço

Consulte o estado do serviço ao vivo e as respostas de falha documentadas antes de fazer a integração.

OpenAPI Artefatos da API

OpenAPI, Swagger, Postman, CLI, SDK e links MCP ficam a um clique.

Chaves API Acesso protegido

Endpoints autenticados usam chaves API com custos de créditos claros antes da chamada.

10,000 Cota gratuita

Comece com 10.000 créditos mensais e faça upgrade só quando o uso crescer.

O que esta API ajuda você a lançar

Use esta página como briefing de produção: endpoints, exemplos, formato da resposta e peças de workflow para conectar o DomScan ao seu produto.

Workflows de produto

Incorpore checagens de domínio, inteligência DNS, sinais de risco ou enriquecimento em onboarding, busca e ferramentas internas.

Automação de analistas

Substitua consultas manuais repetidas por jobs agendados, alertas e etapas de investigação reproduzíveis.

Dados JSON limpos

Use campos previsíveis, códigos de status documentados e custos em créditos em vez de raspar páginas de fornecedores.

IA e operações

Alimente agentes, dashboards, playbooks SOAR e CRMs via OpenAPI, SDK, Postman ou MCP.

Fluxo de integração

Um caminho simples da primeira requisição ao uso repetível em produção.

Autentique uma vez

Envie sua chave API com o cabeçalho documentado e mantenha requisições consistentes entre serviços.

Consulte com exemplos

Comece pelos exemplos curl e HTTP, depois mapeie os parâmetros no código da sua aplicação.

Opere e monitore

Use códigos de status, custos em créditos e campos de resposta para criar retentativas, logs e alertas.

Kit de desenvolvedor

Saia desta página para docs legíveis por máquina, coleções de requisições, SDKs ou ferramentas para agentes.

Esquema OpenAPI

Gere clientes ou inspecione cada formato de requisição e resposta.

Coleção Postman

Importe requisições prontas para testes manuais e repasse ao time.

SDKs e CLI

Use pacotes mantidos e fluxos de linha de comando em vez de escrever boilerplate.

Integração MCP

Exponha inteligência de domínios para agentes de IA e assistentes internos.

Mapa de parâmetros e resposta

Revise entradas, campos de saída e códigos de status antes de ligar o endpoint ao seu cliente.

Parâmetros da requisição

Parâmetro

urldomainuser_agentpathskip_cache

Campos da resposta

Exemplo de resposta

statussitemapstesttest.user_agenttest.pathtest.allowedtest.matched_ruletest.matched_rule.typetest.matched_rule.pathtest.matched_rule.lineai_crawlers

Cobertura de status

Códigos de status HTTP

200400401402429502

Pontos finais

GET /v1/robots

Créditos: 1Autenticação: Autenticação necessária

Sinais de confiança antes da integração

Documentação transparente, solicitações autenticadas e detalhes visíveis de confiabilidade facilitam avaliar o DomScan antes de publicar.

Status do serviço Artefatos da API

OpenAPI, Swagger, Postman, CLI, SDK e links MCP ficam a um clique.

Chaves API Acesso protegido

Endpoints autenticados usam chaves API com custos de créditos claros antes da chamada.

Cota gratuita Cadastre-se gratuitamente

Comece com 10.000 créditos mensais e faça upgrade só quando o uso crescer.

Ativo Exemplo de requisição

Comece pelos exemplos curl e HTTP, depois mapeie os parâmetros no código da sua aplicação.

Principais Recursos

Correspondência padrão

As regras são avaliadas segundo a RFC 9309: o grupo user-agent mais específico, a correspondência de caminho mais longa, allow em caso de empate e suporte para * e $.

Cobertura de crawlers de IA

Acesso à raiz para GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot, CCBot e mais, com proprietário e finalidade.

Teste de caminhos

Envie um user-agent e um caminho para obter o veredicto, a regra que o decidiu e o grupo de origem.

Estados de falha claros

Obtenções bloqueadas, limitadas ou falhadas devolvem desconhecido e são reembolsadas, pelo que uma resposta em falta nunca é indicada como permitida.

Exemplo de requisição

GET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/ bash

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Exemplo de resposta

200 OK json

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "ClaudeBot", "owner": "anthropic", "root_access": "allowed", "group": "wildcard" }
  ]
}

Perguntas frequentes

Como é indicado um robots.txt em falta?

Uma resposta 404 ou 410 devolve not_found, o que, segundo a RFC 9309, significa que os crawlers podem aceder a tudo. As respostas 401, 403, 429 e 5xx devolvem unknown.

Que crawlers de IA estão incluídos?

14 agentes da OpenAI, Anthropic, Google, Perplexity, Common Crawl, ByteDance, Apple, Meta e Amazon, agrupados em treino, pesquisa ou obtenções iniciadas pelo utilizador.

O resultado fica em cache?

Os resultados definitivos ficam em cache durante 15 minutos. Adicione skip_cache=1 para obter o ficheiro de novo. O teste de caminho é sempre calculado para o seu pedido.

Quantos créditos custa?

Um crédito por pedido. Os pedidos que terminam num estado desconhecido são reembolsados.

Ferramentas e recursos relacionados

Códigos de status HTTP

Estes são os códigos de status HTTP que você deve tratar para distinguir respostas bem-sucedidas, problemas de autenticação, créditos, limites de taxa, dados ausentes e falhas de origem.

OK 200

Pedido bem-sucedido

Pedido inválido 400

Parâmetros inválidos

Não autorizado 401

Chave de API ou sessão em falta ou inválida.

Pagamento necessário 402

Não tens créditos suficientes para executar este pedido.

Demasiados pedidos 429

Limite de taxa excedido

Erro de gateway 502

Erro do serviço RDAP de origem

Verificar um robots.txt

Começar gratuitamente Ver documentação Testar a ferramenta gratuita