Comece pelo formulário ao vivo
Introduza um domínio, URL, IP, email ou registo e obtenha um resultado focado sem configuração.
Todas as ferramentas
Dados da web
Inteligência de domínios
DNS e infraestrutura
Segurança e confiança
Identidade e verificação
Monitoramento e automação
Verificador de robots.txt
Introduza um site para ler o respetivo robots.txt, testar se um crawler pode aceder a um caminho e ver como o GPTBot, o ClaudeBot, o PerplexityBot e outros crawlers de IA são tratados.
Resultados
Ferramenta interativa de inteligência
Execute a verificação e depois transforme o fluxo em produção
Use a ferramenta no navegador para obter uma resposta rápida e leve a mesma lógica para scripts, monitorização ou fluxos de produto quando ela se tornar repetível.
Reveja sinais prontos para decisão
Os resultados destacam estados, riscos, registos e próximas ações em vez de ruído bruto dos fornecedores.
Automatize o fluxo que funciona
Use os exemplos de pedido e resposta para transformar uma verificação pontual numa chamada API ou receita.
Usado por pessoas nestas empresas
O que esta ferramenta ajuda a decidir
Cada página foi moldada em torno de uma pergunta operacional prática, não apenas uma consulta bruta.
Veja evidências atuais de DNS, registo, segurança, preços ou reputação.
Compare o resultado com verificações relacionadas para confiar melhor no próximo passo.
Copie exemplos, abra ferramentas relacionadas ou vá para a documentação da API quando precisar de escala.
Sinais de confiança antes da integração
Documentação transparente, solicitações autenticadas e detalhes visíveis de confiabilidade facilitam avaliar o DomScan antes de publicar.
Status do serviço
Artefatos da API
OpenAPI, Swagger, Postman, CLI, SDK e links MCP ficam a um clique.
Chaves API
Acesso protegido
Endpoints autenticados usam chaves API com custos de créditos claros antes da chamada.
Cota gratuita
Cadastre-se gratuitamente
Comece com 10.000 créditos mensais e faça upgrade só quando o uso crescer.
Ativo
Exemplo de requisição
Comece pelos exemplos curl e HTTP, depois mapeie os parâmetros no código da sua aplicação.
Principais Recursos
Análise segundo a RFC 9309
Grupos, regras allow e disallow, carateres universais e âncoras finais são avaliados como a norma descreve, prevalecendo a regra mais longa.
Matriz de crawlers de IA
Acesso à raiz para 14 crawlers de IA, incluindo agentes de treino, de pesquisa e iniciados pelo utilizador da OpenAI, Anthropic, Google, Perplexity e outros.
Estados desconhecidos com transparência
Se não for possível obter o ficheiro por causa de um bloqueio, de um timeout ou de um erro do servidor, o resultado é desconhecido, nunca uma permissão silenciosa.
Exemplo de requisição
GET /v1/robots?url=example.comGET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/Criado sobre a mesma API
A experiência no navegador antecipa os endpoints estruturados do DomScan para validar casos de uso antes de escrever código.
Perguntas frequentes
O que acontece quando um site não tem robots.txt?
Uma resposta 404 ou 410 significa que não há restrições de rastreio, pelo que todos os caminhos são permitidos. O verificador indica este caso como não encontrado.
Como bloqueio os crawlers de IA?
Adicione um grupo user-agent para cada crawler, por exemplo GPTBot ou ClaudeBot, com uma regra Disallow. A tabela de crawlers de IA mostra que bots as suas regras atuais já abrangem.
O robots.txt trava todos os bots?
Não. O robots.txt é um pedido que os crawlers bem comportados respeitam. Não impõe controlo de acesso, por isso o conteúdo privado exige autenticação.