Commencez avec le formulaire en direct
Saisissez un domaine, une URL, une IP, un e-mail ou un enregistrement et obtenez un résultat ciblé sans configuration.
Tous les outils
Données web
Intelligence des domaines
DNS et infrastructure
Sécurité et confiance
Identité et vérification
Surveillance et automatisation
Vérificateur de robots.txt
Saisissez un site web pour lire son robots.txt, tester si un robot peut accéder à un chemin et voir comment GPTBot, ClaudeBot, PerplexityBot et d’autres robots d’IA sont traités.
Résultats
Outil d'intelligence interactif
Lancez le contrôle, puis industrialisez le workflow
Utilisez l'outil dans le navigateur pour obtenir une réponse rapide, puis déplacez la même logique vers des scripts, de la surveillance ou des flux produit lorsqu'elle devient répétable.
Analysez des signaux prêts à décider
Les résultats mettent en avant statuts, risques, enregistrements et prochaines actions au lieu du bruit brut des fournisseurs.
Automatisez le workflow qui fonctionne
Utilisez les exemples de requête et de réponse pour transformer un contrôle ponctuel en appel API ou en recette.
Utilisé par des équipes de ces entreprises
Ce que cet outil vous aide à décider
Chaque page répond à une question opérationnelle concrète, pas seulement à une recherche brute.
Consultez les preuves DNS, enregistrement, sécurité, prix ou réputation actuelles.
Comparez le résultat avec des contrôles liés afin de mieux faire confiance à la prochaine action.
Copiez des exemples, ouvrez les outils liés ou passez à la documentation API lorsque vous devez passer à l’échelle.
Signaux de confiance avant intégration
Une documentation transparente, des requêtes authentifiées et des détails de fiabilité visibles facilitent l’évaluation de DomScan avant mise en production.
État du service
Artefacts API
OpenAPI, Swagger, Postman, CLI, SDK et liens MCP sont accessibles en un clic.
Clés API
Accès protégé
Les endpoints authentifiés utilisent des clés API avec des coûts en crédits clairs avant l’appel.
Quota gratuit
Inscrivez-vous gratuitement
Commencez avec 10 000 crédits mensuels et passez à l’offre supérieure seulement quand l’usage augmente.
Actif
Exemple de requête
Commencez par les exemples curl et HTTP, puis mappez les paramètres dans le code de votre application.
Fonctionnalités clés
Analyse selon la RFC 9309
Les groupes, les règles Allow et Disallow, les caractères génériques et les ancres de fin sont interprétés comme le décrit la norme, la règle la plus longue l’emportant.
Matrice des robots d’IA
Accès à la racine pour 14 robots d’IA, dont des agents d’entraînement, de recherche et lancés par l’utilisateur d’OpenAI, Anthropic, Google, Perplexity et d’autres.
États inconnus assumés
Si le fichier est inaccessible à cause d’un blocage, d’un délai dépassé ou d’une erreur serveur, le résultat est inconnu, jamais une autorisation implicite.
Exemple de requête
GET /v1/robots?url=example.comGET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/Construit sur la même API
L'expérience navigateur prévisualise les endpoints structurés de DomScan afin que les équipes valident un cas d’usage avant de coder.
Questions fréquentes
Que se passe-t-il si un site n’a pas de robots.txt ?
Une réponse 404 ou 410 signifie qu’il n’y a aucune restriction d’exploration, donc tous les chemins sont autorisés. Le vérificateur l’indique comme introuvable.
Comment bloquer les robots d’IA ?
Ajoutez un groupe user-agent pour chaque robot, par exemple GPTBot ou ClaudeBot, avec une règle Disallow. Le tableau des robots d’IA montre quels bots sont déjà couverts par vos règles actuelles.
Le fichier robots.txt arrête-t-il tous les bots ?
Non. Robots.txt est une demande que respectent les robots bien conçus. Il n’applique aucun contrôle d’accès : un contenu privé nécessite une authentification.