Datos web

API Robots.txt Tester

Envía una lista de URLs y user agents y obtén un veredicto para cada combinación. Prueba el robots.txt en vivo de un sitio o un borrador que pegues, consulta la regla Allow o Disallow que decide y su línea, y detecta errores de sintaxis antes que los rastreadores.

Ver documentación Probar la herramienta gratuita Explorar todas las API

Endpoints Activo

POST /v1/robots/test

Solicitud de ejemplo

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Respuesta de ejemplo 200 OK

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reas
...

Solicitud de ejemplo POST /v1/robots/test

Características principales 4

Preguntas frecuentes 4

Códigos de estado HTTP 200 / 400 / 401 / 402 / 409 / 422 / 429

Categoría Datos web

Endpoints 1

Características principales 4

Preguntas frecuentes 4

Utilizado por personas en estas empresas

Señales de confianza antes de integrar

Documentación transparente, solicitudes autenticadas y detalles visibles de fiabilidad facilitan evaluar DomScan antes de publicar.

En directo Estado del servicio

Consulta el estado del servicio en directo y las respuestas de error documentadas antes de integrar la API.

OpenAPI Artefactos de API

OpenAPI, Swagger, Postman, CLI, SDK y enlaces MCP están a un clic.

Claves API Acceso protegido

Los endpoints autenticados usan claves API con costes de créditos claros antes de llamarlos.

10,000 Créditos gratuitos

Empieza con 10.000 créditos mensuales y actualiza solo cuando crezca el uso.

Qué te ayuda a lanzar esta API

Usa esta página como un resumen de producción: endpoints, ejemplos, forma de respuesta y piezas de flujo necesarias para integrar DomScan en tu producto.

Flujos de producto

Integra comprobaciones de dominios, inteligencia DNS, señales de riesgo o enriquecimiento en onboarding, búsqueda y herramientas internas.

Automatización de analistas

Sustituye consultas manuales repetidas por tareas programadas, alertas y pasos de investigación reproducibles.

Datos JSON limpios

Usa campos previsibles, códigos de estado documentados y costes de créditos en lugar de raspar páginas de proveedores.

IA y operaciones

Alimenta agentes, paneles, playbooks SOAR y CRMs mediante OpenAPI, SDK, Postman o MCP.

Flujo de integración

Un camino simple desde la primera solicitud hasta un uso repetible en producción.

Autentica una vez

Envía tu clave API con la cabecera documentada y mantén solicitudes coherentes entre servicios.

Consulta con ejemplos

Empieza con las muestras curl y HTTP, y luego mapea los parámetros en el código de tu aplicación.

Opera y monitoriza

Usa códigos de estado, costes de créditos y campos de respuesta para crear reintentos, logs y alertas.

Kit para desarrolladores

Salta desde esta página a documentación legible por máquinas, colecciones de solicitudes, SDKs o herramientas para agentes.

Esquema OpenAPI

Genera clientes o inspecciona cada forma de solicitud y respuesta.

Colección Postman

Importa solicitudes listas para pruebas manuales y traspaso al equipo.

SDKs y CLI

Usa paquetes mantenidos y flujos de línea de comandos en vez de escribir boilerplate.

Integración MCP

Expón inteligencia de dominios a agentes de IA y asistentes internos.

Mapa de parámetros y respuesta

Revisa entradas, campos de salida y códigos de estado antes de conectar el endpoint a tu cliente.

Parámetros de solicitud

Parámetro

robots_txturlurlsuser_agents

Campos de respuesta

Respuesta de ejemplo

sourcestatussummarysummary.testssummary.allowedsummary.disallowedsummary.unknownresultsissues

Cobertura de estados

Códigos de estado HTTP

200400401402409422429

Endpoints

POST /v1/robots/test

Créditos: 1Autenticación: Autenticación requerida

Señales de confianza antes de integrar

Documentación transparente, solicitudes autenticadas y detalles visibles de fiabilidad facilitan evaluar DomScan antes de publicar.

Estado del servicio Artefactos de API

OpenAPI, Swagger, Postman, CLI, SDK y enlaces MCP están a un clic.

Claves API Acceso protegido

Los endpoints autenticados usan claves API con costes de créditos claros antes de llamarlos.

Créditos gratuitos Regístrate gratis

Empieza con 10.000 créditos mensuales y actualiza solo cuando crezca el uso.

Activo Solicitud de ejemplo

Empieza con las muestras curl y HTTP, y luego mapea los parámetros en el código de tu aplicación.

Características principales

Archivo pegado o en vivo

Envía robots_txt para probar un borrador sin descargar nada, o envía url para probar el archivo que está activo en el sitio.

Veredictos en lote

Hasta 100 URLs y 10 user agents por petición, con totales por rastreador y una fila para cada combinación.

Coincidencia estándar

Las reglas se evalúan como describe el estándar oficial de robots.txt (RFC 9309): gana la coincidencia más larga, Allow gana los empates y se admiten los comodines * y $.

Comprobaciones de sintaxis

Erratas, reglas fuera de un grupo, líneas no válidas y otros problemas se listan con sus números de línea.

Solicitud de ejemplo

POST /v1/robots/test bash

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Respuesta de ejemplo

200 OK json

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reason": "matched_disallow",
      "matched_rule": { "type": "disallow", "path": "/admin/", "line": 5 }
    }
  ],
  "issues": [{ "code": "directive_typo", "count": 1, "lines": [9] }]
}

Preguntas frecuentes

¿En qué se diferencia de la API Robots.txt?

La API Robots.txt lee el archivo en vivo de un sitio y prueba un rastreador y una ruta. El probador comprueba muchas URLs y rastreadores en una sola petición y también puede probar un robots.txt que pegues.

¿Qué user agent se utiliza para la coincidencia?

El nombre del rastreador, sin distinguir mayúsculas de minúsculas. Una cadena completa al estilo de un navegador, como la de Googlebot, se reduce primero a su nombre de rastreador, y la respuesta muestra el nombre utilizado.

¿Qué ocurre con las URLs de otro host?

Cuando se usa el archivo en vivo, una URL de un host distinto al del sitio se notifica como other_host sin veredicto, porque cada host tiene su propio robots.txt.

¿Cuánto cuesta?

1 crédito por petición, para hasta 1.000 veredictos. Cuando no se puede leer el robots.txt en vivo, los veredictos son desconocidos y el crédito se reembolsa.

Herramientas y recursos relacionados

Códigos de estado HTTP

Documentamos los códigos de estado HTTP que debes gestionar para distinguir respuestas correctas, problemas de autenticación o créditos, límites de frecuencia, datos inexistentes y fallos del servicio de origen.

OK 200

Solicitud correcta

Solicitud incorrecta 400

Parámetros no válidos

No autorizado 401

Clave de API o sesión ausente o no válida.

Pago requerido 402

No tienes créditos suficientes para ejecutar esta solicitud.

HTTP 409 409

HTTP 422 422

Demasiadas solicitudes 429

Límite de frecuencia superado

Prueba tu robots.txt

Empezar gratis Ver documentación Probar la herramienta gratuita