Données web

API robots.txt

Récupérez et analysez le robots.txt de n’importe quel site en une seule requête. Obtenez les groupes, les règles, les sitemaps déclarés, un verdict d’autorisation ou d’interdiction pour un user-agent et un chemin, et l’accès à la racine pour les principaux robots d’IA.

Voir la documentation Essayer l’outil gratuit Explorer toutes les API

Points de terminaison Actif

GET /v1/robots

Exemple de requête

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Exemple de réponse 200 OK

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "Cla
...

Exemple de requête GET /v1/robots

Fonctionnalités clés 4

Questions fréquentes 4

Codes de statut HTTP 200 / 400 / 401 / 402 / 429 / 502

Catégorie Données web

Points de terminaison 1

Fonctionnalités clés 4

Questions fréquentes 4

Utilisé par des équipes de ces entreprises

Signaux de confiance avant intégration

Une documentation transparente, des requêtes authentifiées et des détails de fiabilité visibles facilitent l’évaluation de DomScan avant mise en production.

En direct État du service

Vérifiez l’état du service en direct et les réponses d’échec documentées avant de procéder à l’intégration.

OpenAPI Artefacts API

OpenAPI, Swagger, Postman, CLI, SDK et liens MCP sont accessibles en un clic.

Clés API Accès protégé

Les endpoints authentifiés utilisent des clés API avec des coûts en crédits clairs avant l’appel.

10,000 Quota gratuit

Commencez avec 10 000 crédits mensuels et passez à l’offre supérieure seulement quand l’usage augmente.

Ce que cette API vous aide à livrer

Utilisez cette page comme brief de production : endpoints, exemples, structure de réponse et éléments de workflow pour intégrer DomScan à votre produit.

Workflows produit

Intégrez vérifications de domaines, intelligence DNS, signaux de risque ou enrichissement dans l’onboarding, la recherche et les outils internes.

Automatisation analyste

Remplacez les recherches manuelles répétées par des tâches planifiées, des alertes et des étapes d’enquête reproductibles.

Données JSON propres

Utilisez des champs prévisibles, des codes d’état documentés et des coûts en crédits au lieu de scraper des pages fournisseur.

IA et opérations

Alimentez agents, tableaux de bord, playbooks SOAR et CRMs via OpenAPI, SDK, Postman ou MCP.

Flux d’intégration

Un parcours simple de la première requête à un usage répétable en production.

Authentifier une fois

Envoyez votre clé API avec l’en-tête documenté et gardez des requêtes cohérentes entre services.

Interroger avec les exemples

Commencez par les exemples curl et HTTP, puis mappez les paramètres dans le code de votre application.

Exploiter et surveiller

Utilisez codes d’état, coûts en crédits et champs de réponse pour construire retries, logs et alertes.

Kit développeur

Passez de cette page aux docs lisibles par machine, collections de requêtes, SDKs ou outils d’agents.

Schéma OpenAPI

Générez des clients ou inspectez chaque forme de requête et de réponse.

Collection Postman

Importez des requêtes prêtes pour les tests manuels et le transfert à l’équipe.

SDKs et CLI

Utilisez des packages maintenus et des workflows en ligne de commande au lieu d’écrire du boilerplate.

Intégration MCP

Exposez l’intelligence de domaines aux agents IA et aux assistants internes.

Carte des paramètres et réponses

Parcourez les entrées, champs de sortie et codes d’état avant de connecter l’endpoint à votre client.

Paramètres de requête

Paramètre

urldomainuser_agentpathskip_cache

Champs de réponse

Exemple de réponse

statussitemapstesttest.user_agenttest.pathtest.allowedtest.matched_ruletest.matched_rule.typetest.matched_rule.pathtest.matched_rule.lineai_crawlers

Couverture des statuts

Codes de statut HTTP

200400401402429502

Points de terminaison

GET /v1/robots

Crédits: 1Authentification: Authentification requise

Signaux de confiance avant intégration

Une documentation transparente, des requêtes authentifiées et des détails de fiabilité visibles facilitent l’évaluation de DomScan avant mise en production.

État du service Artefacts API

OpenAPI, Swagger, Postman, CLI, SDK et liens MCP sont accessibles en un clic.

Clés API Accès protégé

Les endpoints authentifiés utilisent des clés API avec des coûts en crédits clairs avant l’appel.

Quota gratuit Inscrivez-vous gratuitement

Commencez avec 10 000 crédits mensuels et passez à l’offre supérieure seulement quand l’usage augmente.

Actif Exemple de requête

Commencez par les exemples curl et HTTP, puis mappez les paramètres dans le code de votre application.

Fonctionnalités clés

Correspondance standard

Les règles sont appliquées selon la RFC 9309 : groupe user-agent le plus spécifique, correspondance de chemin la plus longue, autorisation en cas d’égalité, et prise en charge de * et $.

Couverture des robots d’IA

Accès à la racine pour GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot, CCBot et d’autres, avec propriétaire et finalité.

Test de chemin

Transmettez un user-agent et un chemin pour obtenir le verdict, la règle qui l’a déterminé et le groupe dont elle provient.

États d’échec clairs

Les récupérations bloquées, limitées en débit ou en échec renvoient inconnu et sont remboursées : une réponse manquante n’est jamais présentée comme une autorisation.

Exemple de requête

GET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/ bash

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Exemple de réponse

200 OK json

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "ClaudeBot", "owner": "anthropic", "root_access": "allowed", "group": "wildcard" }
  ]
}

Questions fréquentes

Comment un robots.txt absent est-il signalé ?

Une réponse 404 ou 410 renvoie not_found, ce qui, selon la RFC 9309, signifie que les robots peuvent tout explorer. Les réponses 401, 403, 429 et 5xx renvoient unknown.

Quels robots d’IA sont inclus ?

14 agents d’OpenAI, Anthropic, Google, Perplexity, Common Crawl, ByteDance, Apple, Meta et Amazon, regroupés en entraînement, recherche ou récupérations lancées par l’utilisateur.

Le résultat est-il mis en cache ?

Les résultats définitifs sont mis en cache pendant 15 minutes. Ajoutez skip_cache=1 pour récupérer à nouveau le fichier. Le test de chemin est toujours calculé pour votre requête.

Combien de crédits cela coûte-t-il ?

Un crédit par requête. Les requêtes qui aboutissent à un état inconnu sont remboursées.

Outils et ressources associés

Codes de statut HTTP

Voici les codes d'état HTTP à gérer, afin de distinguer les réponses réussies, les problèmes d'authentification, les crédits, les limites de débit, les données introuvables et les erreurs en amont.

OK 200

Requête réussie

Requête incorrecte 400

Paramètres invalides

Non autorisé 401

Clé API ou session manquante ou invalide.

Paiement requis 402

Crédits insuffisants pour exécuter cette requête.

Trop de requêtes 429

Limite de débit dépassée

Mauvaise passerelle 502

Erreur RDAP en amont

Vérifier un robots.txt

Commencer gratuitement Voir la documentation Essayer l’outil gratuit