Empieza con el formulario en vivo
Introduce un dominio, URL, IP, email o registro y obtén un resultado enfocado sin configuración.
Todas las herramientas
Datos web
Inteligencia de dominios
DNS e infraestructura
Seguridad y confianza
Identidad y verificación
Monitorización y automatización
Comprobador de robots.txt
Introduce un sitio web para leer su robots.txt, probar si un rastreador puede acceder a una ruta y ver cómo se trata a GPTBot, ClaudeBot, PerplexityBot y otros rastreadores de IA.
Resultados
Herramienta interactiva de inteligencia
Ejecuta la comprobación y después convierte el flujo en producto
Usa la herramienta del navegador para obtener una respuesta rápida y lleva la misma lógica a scripts, monitorización o flujos de producto cuando sea repetible.
Revisa señales listas para decidir
Las salidas destacan estados, riesgos, registros y próximos pasos en lugar de ruido bruto de proveedores.
Automatiza el flujo que funciona
Usa los ejemplos de petición y respuesta para convertir una comprobación puntual en una llamada API o receta.
Utilizado por personas en estas empresas
Qué te ayuda a decidir esta herramienta
Cada página está pensada alrededor de una pregunta operativa práctica, no solo una consulta en bruto.
Consulta la evidencia actual de DNS, registro, seguridad, precios o reputación.
Compara el resultado con comprobaciones relacionadas para confiar mejor en el siguiente paso.
Copia ejemplos, abre herramientas enlazadas o pasa a la documentación API cuando necesites escala.
Señales de confianza antes de integrar
Documentación transparente, solicitudes autenticadas y detalles visibles de fiabilidad facilitan evaluar DomScan antes de publicar.
Estado del servicio
Artefactos de API
OpenAPI, Swagger, Postman, CLI, SDK y enlaces MCP están a un clic.
Claves API
Acceso protegido
Los endpoints autenticados usan claves API con costes de créditos claros antes de llamarlos.
Créditos gratuitos
Regístrate gratis
Empieza con 10.000 créditos mensuales y actualiza solo cuando crezca el uso.
Activo
Solicitud de ejemplo
Empieza con las muestras curl y HTTP, y luego mapea los parámetros en el código de tu aplicación.
Características principales
Análisis según RFC 9309
Los grupos, las reglas allow y disallow, los comodines y los anclajes de final se evalúan como describe el estándar, y gana la regla más larga.
Matriz de rastreadores de IA
Acceso a la raíz para 14 rastreadores de IA, incluidos agentes de entrenamiento, búsqueda y de acciones iniciadas por el usuario de OpenAI, Anthropic, Google, Perplexity y otros.
Estados desconocidos sin disimulo
Si el archivo no se puede obtener por un bloqueo, un tiempo de espera agotado o un error del servidor, el resultado es desconocido, nunca un permiso silencioso.
Solicitud de ejemplo
GET /v1/robots?url=example.comGET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/Creada sobre la misma API
La experiencia del navegador anticipa los endpoints estructurados de DomScan para validar un caso de uso antes de escribir código.
Preguntas frecuentes
¿Qué ocurre cuando un sitio no tiene robots.txt?
Una respuesta 404 o 410 significa que no hay restricciones de rastreo, así que todas las rutas están permitidas. El comprobador lo indica como no encontrado.
¿Cómo bloqueo los rastreadores de IA?
Añade un grupo user-agent para cada rastreador, por ejemplo GPTBot o ClaudeBot, con una regla Disallow. La tabla de rastreadores de IA muestra qué bots cubren ya tus reglas actuales.
¿Detiene robots.txt a todos los bots?
No. Robots.txt es una petición que siguen los rastreadores que se comportan bien. No aplica ningún control de acceso, así que el contenido privado necesita autenticación.