Données web

API Testeur de robots.txt

Envoyez une liste d'URL et de user agents et obtenez un verdict pour chaque combinaison. Testez le robots.txt en ligne d'un site ou un brouillon que vous collez, consultez la règle Allow ou Disallow qui tranche et sa ligne, et repérez les erreurs de syntaxe avant les robots.

Voir la documentation Essayer l’outil gratuit Explorer toutes les API

Points de terminaison Actif

POST /v1/robots/test

Exemple de requête

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Exemple de réponse 200 OK

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reas
...

Exemple de requête POST /v1/robots/test

Fonctionnalités clés 4

Questions fréquentes 4

Codes de statut HTTP 200 / 400 / 401 / 402 / 409 / 422 / 429

Catégorie Données web

Points de terminaison 1

Fonctionnalités clés 4

Questions fréquentes 4

Utilisé par des équipes de ces entreprises

Signaux de confiance avant intégration

Une documentation transparente, des requêtes authentifiées et des détails de fiabilité visibles facilitent l’évaluation de DomScan avant mise en production.

En direct État du service

Vérifiez l’état du service en direct et les réponses d’échec documentées avant de procéder à l’intégration.

OpenAPI Artefacts API

OpenAPI, Swagger, Postman, CLI, SDK et liens MCP sont accessibles en un clic.

Clés API Accès protégé

Les endpoints authentifiés utilisent des clés API avec des coûts en crédits clairs avant l’appel.

10,000 Quota gratuit

Commencez avec 10 000 crédits mensuels et passez à l’offre supérieure seulement quand l’usage augmente.

Ce que cette API vous aide à livrer

Utilisez cette page comme brief de production : endpoints, exemples, structure de réponse et éléments de workflow pour intégrer DomScan à votre produit.

Workflows produit

Intégrez vérifications de domaines, intelligence DNS, signaux de risque ou enrichissement dans l’onboarding, la recherche et les outils internes.

Automatisation analyste

Remplacez les recherches manuelles répétées par des tâches planifiées, des alertes et des étapes d’enquête reproductibles.

Données JSON propres

Utilisez des champs prévisibles, des codes d’état documentés et des coûts en crédits au lieu de scraper des pages fournisseur.

IA et opérations

Alimentez agents, tableaux de bord, playbooks SOAR et CRMs via OpenAPI, SDK, Postman ou MCP.

Flux d’intégration

Un parcours simple de la première requête à un usage répétable en production.

Authentifier une fois

Envoyez votre clé API avec l’en-tête documenté et gardez des requêtes cohérentes entre services.

Interroger avec les exemples

Commencez par les exemples curl et HTTP, puis mappez les paramètres dans le code de votre application.

Exploiter et surveiller

Utilisez codes d’état, coûts en crédits et champs de réponse pour construire retries, logs et alertes.

Kit développeur

Passez de cette page aux docs lisibles par machine, collections de requêtes, SDKs ou outils d’agents.

Schéma OpenAPI

Générez des clients ou inspectez chaque forme de requête et de réponse.

Collection Postman

Importez des requêtes prêtes pour les tests manuels et le transfert à l’équipe.

SDKs et CLI

Utilisez des packages maintenus et des workflows en ligne de commande au lieu d’écrire du boilerplate.

Intégration MCP

Exposez l’intelligence de domaines aux agents IA et aux assistants internes.

Carte des paramètres et réponses

Parcourez les entrées, champs de sortie et codes d’état avant de connecter l’endpoint à votre client.

Paramètres de requête

Paramètre

robots_txturlurlsuser_agents

Champs de réponse

Exemple de réponse

sourcestatussummarysummary.testssummary.allowedsummary.disallowedsummary.unknownresultsissues

Couverture des statuts

Codes de statut HTTP

200400401402409422429

Points de terminaison

POST /v1/robots/test

Crédits: 1Authentification: Authentification requise

Signaux de confiance avant intégration

Une documentation transparente, des requêtes authentifiées et des détails de fiabilité visibles facilitent l’évaluation de DomScan avant mise en production.

État du service Artefacts API

OpenAPI, Swagger, Postman, CLI, SDK et liens MCP sont accessibles en un clic.

Clés API Accès protégé

Les endpoints authentifiés utilisent des clés API avec des coûts en crédits clairs avant l’appel.

Quota gratuit Inscrivez-vous gratuitement

Commencez avec 10 000 crédits mensuels et passez à l’offre supérieure seulement quand l’usage augmente.

Actif Exemple de requête

Commencez par les exemples curl et HTTP, puis mappez les paramètres dans le code de votre application.

Fonctionnalités clés

Fichier collé ou en ligne

Envoyez robots_txt pour tester un brouillon sans rien récupérer, ou url pour tester le fichier en ligne sur le site.

Verdicts en masse

Jusqu'à 100 URL et 10 user agents par requête, avec des totaux par robot et une ligne pour chaque combinaison.

Correspondance standard

Les règles sont appariées comme le décrit la norme officielle du robots.txt (RFC 9309) : la correspondance la plus longue l'emporte, Allow l'emporte en cas d'égalité, et les jokers * et $ sont pris en charge.

Vérifications de syntaxe

Les fautes de frappe, les règles hors d'un groupe, les lignes invalides et d'autres problèmes sont listés avec leurs numéros de ligne.

Exemple de requête

POST /v1/robots/test bash

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Exemple de réponse

200 OK json

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reason": "matched_disallow",
      "matched_rule": { "type": "disallow", "path": "/admin/", "line": 5 }
    }
  ],
  "issues": [{ "code": "directive_typo", "count": 1, "lines": [9] }]
}

Questions fréquentes

En quoi est-ce différent de l'API Robots.txt ?

L'API Robots.txt lit le fichier en ligne d'un site et teste un robot et un chemin. Le testeur vérifie de nombreuses URL et de nombreux robots en une requête, et peut aussi tester un robots.txt que vous collez.

Quel user agent est utilisé pour la correspondance ?

Le nom du robot, sans tenir compte de la casse. Une chaîne complète de type navigateur, comme celle de Googlebot, est d'abord réduite au nom du robot, et la réponse indique le nom utilisé.

Que se passe-t-il avec les URL d'un autre hôte ?

Lorsque le fichier en ligne est utilisé, une URL située sur un hôte différent de celui du site est signalée comme other_host sans verdict, car chaque hôte a son propre robots.txt.

Combien cela coûte-t-il ?

1 crédit par requête, pour jusqu'à 1 000 verdicts. Lorsque le robots.txt en ligne ne peut pas être lu, les verdicts sont inconnus et le crédit est remboursé.

Outils et ressources associés

Codes de statut HTTP

Voici les codes d'état HTTP à gérer, afin de distinguer les réponses réussies, les problèmes d'authentification, les crédits, les limites de débit, les données introuvables et les erreurs en amont.

OK 200

Requête réussie

Requête incorrecte 400

Paramètres invalides

Non autorisé 401

Clé API ou session manquante ou invalide.

Paiement requis 402

Crédits insuffisants pour exécuter cette requête.

HTTP 409 409

HTTP 422 422

Trop de requêtes 429

Limite de débit dépassée

Testez votre robots.txt

Commencer gratuitement Voir la documentation Essayer l’outil gratuit