Todas as ferramentas Dados da web Inteligência de domínios DNS e infraestrutura Segurança e confiança Identidade e verificação Monitoramento e automação

Testador de robots.txt

Verifique se os rastreadores podem visitar os seus URLs. Teste até 100 URLs contra vários user agents em simultâneo, usando o robots.txt em direto de um site ou um rascunho que cole antes de o publicar.

Deixe vazio para testar o robots.txt em direto do site indicado acima.

Resultados

        
Ferramenta interativa de inteligência

Execute a verificação e depois transforme o fluxo em produção

Use a ferramenta no navegador para obter uma resposta rápida e leve a mesma lógica para scripts, monitorização ou fluxos de produto quando ela se tornar repetível.

1
Comece pelo formulário ao vivo

Introduza um domínio, URL, IP, email ou registo e obtenha um resultado focado sem configuração.

2
Reveja sinais prontos para decisão

Os resultados destacam estados, riscos, registos e próximas ações em vez de ruído bruto dos fornecedores.

3
Automatize o fluxo que funciona

Use os exemplos de pedido e resposta para transformar uma verificação pontual numa chamada API ou receita.

Usado por pessoas nestas empresas

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse

O que esta ferramenta ajuda a decidir

Cada página foi moldada em torno de uma pergunta operacional prática, não apenas uma consulta bruta.

Sinal

Veja evidências atuais de DNS, registo, segurança, preços ou reputação.

Contexto

Compare o resultado com verificações relacionadas para confiar melhor no próximo passo.

Ação

Copie exemplos, abra ferramentas relacionadas ou vá para a documentação da API quando precisar de escala.

Sinais de confiança antes da integração

Documentação transparente, solicitações autenticadas e detalhes visíveis de confiabilidade facilitam avaliar o DomScan antes de publicar.

Status do serviço Artefatos da API

OpenAPI, Swagger, Postman, CLI, SDK e links MCP ficam a um clique.

Chaves API Acesso protegido

Endpoints autenticados usam chaves API com custos de créditos claros antes da chamada.

Cota gratuita Cadastre-se gratuitamente

Comece com 10.000 créditos mensais e faça upgrade só quando o uso crescer.

Ativo Exemplo de requisição

Comece pelos exemplos curl e HTTP, depois mapeie os parâmetros no código da sua aplicação.

Principais Recursos

Teste um rascunho antes de publicar

Cole um robots.txt e veja como trata os seus URLs sem alterar nada no seu site.

Muitos URLs, muitos rastreadores

Até 100 URLs e 10 user agents numa só verificação, com um veredito para cada combinação.

A regra que decide

Cada veredito mostra a regra Allow ou Disallow correspondente e o respetivo número de linha, seguindo o padrão oficial do robots.txt.

Exemplo de requisição

POST /v1/robots/test json
{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}

Criado sobre a mesma API

A experiência no navegador antecipa os endpoints estruturados do DomScan para validar casos de uso antes de escrever código.

Perguntas frequentes

Posso testar um robots.txt antes de ele entrar em produção?

Sim. Cole o conteúdo na caixa de robots.txt e nada é obtido do seu site. Deixe-a vazia para testar o ficheiro que está ativo neste momento.

Posso colar uma cadeia de user agent completa?

Sim. Uma cadeia completa, como a que o Googlebot envia, é reduzida ao nome do rastreador, que é o que as regras do robots.txt comparam.

O que significa desconhecido?

Não foi possível ler o robots.txt em direto, por exemplo porque o site bloqueou o pedido ou o tempo de espera se esgotou. Desconhecido nunca é tratado como permitido, e a verificação é reembolsada.

Ferramentas e recursos relacionados