Datos web

API de robots.txt

Obtén y analiza el robots.txt de cualquier sitio web con una sola petición. Recibe los grupos de rastreadores, las reglas, los sitemaps declarados, un veredicto de permitido o bloqueado para un user-agent y una ruta, y el acceso a la raíz de los principales rastreadores de IA.

Ver documentación Probar la herramienta gratuita Explorar todas las API

Endpoints Activo

GET /v1/robots

Solicitud de ejemplo

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Respuesta de ejemplo 200 OK

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "Cla
...

Solicitud de ejemplo GET /v1/robots

Características principales 4

Preguntas frecuentes 4

Códigos de estado HTTP 200 / 400 / 401 / 402 / 429 / 502

Categoría Datos web

Endpoints 1

Características principales 4

Preguntas frecuentes 4

Utilizado por personas en estas empresas

Señales de confianza antes de integrar

Documentación transparente, solicitudes autenticadas y detalles visibles de fiabilidad facilitan evaluar DomScan antes de publicar.

En directo Estado del servicio

Consulta el estado del servicio en directo y las respuestas de error documentadas antes de integrar la API.

OpenAPI Artefactos de API

OpenAPI, Swagger, Postman, CLI, SDK y enlaces MCP están a un clic.

Claves API Acceso protegido

Los endpoints autenticados usan claves API con costes de créditos claros antes de llamarlos.

10,000 Créditos gratuitos

Empieza con 10.000 créditos mensuales y actualiza solo cuando crezca el uso.

Qué te ayuda a lanzar esta API

Usa esta página como un resumen de producción: endpoints, ejemplos, forma de respuesta y piezas de flujo necesarias para integrar DomScan en tu producto.

Flujos de producto

Integra comprobaciones de dominios, inteligencia DNS, señales de riesgo o enriquecimiento en onboarding, búsqueda y herramientas internas.

Automatización de analistas

Sustituye consultas manuales repetidas por tareas programadas, alertas y pasos de investigación reproducibles.

Datos JSON limpios

Usa campos previsibles, códigos de estado documentados y costes de créditos en lugar de raspar páginas de proveedores.

IA y operaciones

Alimenta agentes, paneles, playbooks SOAR y CRMs mediante OpenAPI, SDK, Postman o MCP.

Flujo de integración

Un camino simple desde la primera solicitud hasta un uso repetible en producción.

Autentica una vez

Envía tu clave API con la cabecera documentada y mantén solicitudes coherentes entre servicios.

Consulta con ejemplos

Empieza con las muestras curl y HTTP, y luego mapea los parámetros en el código de tu aplicación.

Opera y monitoriza

Usa códigos de estado, costes de créditos y campos de respuesta para crear reintentos, logs y alertas.

Kit para desarrolladores

Salta desde esta página a documentación legible por máquinas, colecciones de solicitudes, SDKs o herramientas para agentes.

Esquema OpenAPI

Genera clientes o inspecciona cada forma de solicitud y respuesta.

Colección Postman

Importa solicitudes listas para pruebas manuales y traspaso al equipo.

SDKs y CLI

Usa paquetes mantenidos y flujos de línea de comandos en vez de escribir boilerplate.

Integración MCP

Expón inteligencia de dominios a agentes de IA y asistentes internos.

Mapa de parámetros y respuesta

Revisa entradas, campos de salida y códigos de estado antes de conectar el endpoint a tu cliente.

Parámetros de solicitud

Parámetro

urldomainuser_agentpathskip_cache

Campos de respuesta

Respuesta de ejemplo

statussitemapstesttest.user_agenttest.pathtest.allowedtest.matched_ruletest.matched_rule.typetest.matched_rule.pathtest.matched_rule.lineai_crawlers

Cobertura de estados

Códigos de estado HTTP

200400401402429502

Endpoints

GET /v1/robots

Créditos: 1Autenticación: Autenticación requerida

Señales de confianza antes de integrar

Documentación transparente, solicitudes autenticadas y detalles visibles de fiabilidad facilitan evaluar DomScan antes de publicar.

Estado del servicio Artefactos de API

OpenAPI, Swagger, Postman, CLI, SDK y enlaces MCP están a un clic.

Claves API Acceso protegido

Los endpoints autenticados usan claves API con costes de créditos claros antes de llamarlos.

Créditos gratuitos Regístrate gratis

Empieza con 10.000 créditos mensuales y actualiza solo cuando crezca el uso.

Activo Solicitud de ejemplo

Empieza con las muestras curl y HTTP, y luego mapea los parámetros en el código de tu aplicación.

Características principales

Evaluación estándar

Las reglas se evalúan según RFC 9309: el grupo user-agent más específico, la coincidencia de ruta más larga, allow en caso de empate y compatibilidad con * y $.

Cobertura de rastreadores de IA

Acceso a la raíz para GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot, CCBot y más, con propietario y finalidad.

Prueba de rutas

Indica un user-agent y una ruta para obtener el veredicto, la regla que lo decidió y el grupo del que procede.

Estados de fallo claros

Las obtenciones bloqueadas, limitadas por tasa o fallidas devuelven unknown y se reembolsan, así que una respuesta ausente nunca se notifica como permitida.

Solicitud de ejemplo

GET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/ bash

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Respuesta de ejemplo

200 OK json

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "ClaudeBot", "owner": "anthropic", "root_access": "allowed", "group": "wildcard" }
  ]
}

Preguntas frecuentes

¿Cómo se indica que falta el robots.txt?

Una respuesta 404 o 410 devuelve not_found, lo que según RFC 9309 significa que los rastreadores pueden acceder a todo. Las respuestas 401, 403, 429 y 5xx devuelven unknown.

¿Qué rastreadores de IA se incluyen?

14 agentes de OpenAI, Anthropic, Google, Perplexity, Common Crawl, ByteDance, Apple, Meta y Amazon, agrupados como de entrenamiento, de búsqueda o de acciones iniciadas por el usuario.

¿Se almacena el resultado en caché?

Los resultados definitivos se guardan en caché durante 15 minutos. Añade skip_cache=1 para volver a obtener el archivo. La prueba de ruta siempre se calcula para tu petición.

¿Cuántos créditos cuesta?

Un crédito por petición. Las peticiones que terminan en estado desconocido se reembolsan.

Herramientas y recursos relacionados

Códigos de estado HTTP

Documentamos los códigos de estado HTTP que debes gestionar para distinguir respuestas correctas, problemas de autenticación o créditos, límites de frecuencia, datos inexistentes y fallos del servicio de origen.

OK 200

Solicitud correcta

Solicitud incorrecta 400

Parámetros no válidos

No autorizado 401

Clave de API o sesión ausente o no válida.

Pago requerido 402

No tienes créditos suficientes para ejecutar esta solicitud.

Demasiadas solicitudes 429

Límite de frecuencia superado

Puerta de enlace incorrecta 502

Error del servicio RDAP de origen

Comprobar un robots.txt

Empezar gratis Ver documentación Probar la herramienta gratuita