Todas las herramientas Datos web Inteligencia de dominios DNS e infraestructura Seguridad y confianza Identidad y verificación Monitorización y automatización

Probador de robots.txt

Comprueba si los rastreadores pueden visitar tus URLs. Prueba hasta 100 URLs frente a varios user agents a la vez, usando el robots.txt en vivo de un sitio o un borrador que pegues antes de publicarlo.

Déjalo vacío para probar el robots.txt en vivo del sitio indicado arriba.

Resultados

        
Herramienta interactiva de inteligencia

Ejecuta la comprobación y después convierte el flujo en producto

Usa la herramienta del navegador para obtener una respuesta rápida y lleva la misma lógica a scripts, monitorización o flujos de producto cuando sea repetible.

1
Empieza con el formulario en vivo

Introduce un dominio, URL, IP, email o registro y obtén un resultado enfocado sin configuración.

2
Revisa señales listas para decidir

Las salidas destacan estados, riesgos, registros y próximos pasos en lugar de ruido bruto de proveedores.

3
Automatiza el flujo que funciona

Usa los ejemplos de petición y respuesta para convertir una comprobación puntual en una llamada API o receta.

Utilizado por personas en estas empresas

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse

Qué te ayuda a decidir esta herramienta

Cada página está pensada alrededor de una pregunta operativa práctica, no solo una consulta en bruto.

Señal

Consulta la evidencia actual de DNS, registro, seguridad, precios o reputación.

Contexto

Compara el resultado con comprobaciones relacionadas para confiar mejor en el siguiente paso.

Acción

Copia ejemplos, abre herramientas enlazadas o pasa a la documentación API cuando necesites escala.

Señales de confianza antes de integrar

Documentación transparente, solicitudes autenticadas y detalles visibles de fiabilidad facilitan evaluar DomScan antes de publicar.

Estado del servicio Artefactos de API

OpenAPI, Swagger, Postman, CLI, SDK y enlaces MCP están a un clic.

Claves API Acceso protegido

Los endpoints autenticados usan claves API con costes de créditos claros antes de llamarlos.

Créditos gratuitos Regístrate gratis

Empieza con 10.000 créditos mensuales y actualiza solo cuando crezca el uso.

Activo Solicitud de ejemplo

Empieza con las muestras curl y HTTP, y luego mapea los parámetros en el código de tu aplicación.

Características principales

Prueba un borrador antes de publicarlo

Pega un robots.txt y comprueba cómo trata tus URLs sin cambiar nada en tu sitio.

Muchas URLs, muchos rastreadores

Hasta 100 URLs y 10 user agents en una sola comprobación, con un veredicto para cada combinación.

La regla que decide

Cada veredicto muestra la regla Allow o Disallow que coincide y su número de línea, siguiendo el estándar oficial de robots.txt.

Solicitud de ejemplo

POST /v1/robots/test json
{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}

Creada sobre la misma API

La experiencia del navegador anticipa los endpoints estructurados de DomScan para validar un caso de uso antes de escribir código.

Preguntas frecuentes

¿Puedo probar un robots.txt antes de que esté en producción?

Sí. Pega el contenido en el cuadro de robots.txt y no se descarga nada de tu sitio. Déjalo vacío para probar el archivo que está activo ahora.

¿Puedo pegar una cadena de user agent completa?

Sí. Una cadena completa, como la que envía Googlebot, se reduce al nombre del rastreador, que es lo que comparan las reglas de robots.txt.

¿Qué significa desconocido?

No se pudo leer el robots.txt en vivo, por ejemplo porque el sitio bloqueó la petición o se agotó el tiempo de espera. Desconocido nunca se trata como permitido, y la comprobación se reembolsa.

Herramientas y recursos relacionados