Tous les outils Données web Intelligence des domaines DNS et infrastructure Sécurité et confiance Identité et vérification Surveillance et automatisation

Testeur de robots.txt

Vérifiez si les robots d'exploration peuvent visiter vos URL. Testez jusqu'à 100 URL face à plusieurs user agents à la fois, avec le robots.txt en ligne d'un site ou un brouillon que vous collez avant de le publier.

Laissez vide pour tester le robots.txt en ligne du site ci-dessus.

Résultats

        
Outil d'intelligence interactif

Lancez le contrôle, puis industrialisez le workflow

Utilisez l'outil dans le navigateur pour obtenir une réponse rapide, puis déplacez la même logique vers des scripts, de la surveillance ou des flux produit lorsqu'elle devient répétable.

1
Commencez avec le formulaire en direct

Saisissez un domaine, une URL, une IP, un e-mail ou un enregistrement et obtenez un résultat ciblé sans configuration.

2
Analysez des signaux prêts à décider

Les résultats mettent en avant statuts, risques, enregistrements et prochaines actions au lieu du bruit brut des fournisseurs.

3
Automatisez le workflow qui fonctionne

Utilisez les exemples de requête et de réponse pour transformer un contrôle ponctuel en appel API ou en recette.

Utilisé par des équipes de ces entreprises

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse

Ce que cet outil vous aide à décider

Chaque page répond à une question opérationnelle concrète, pas seulement à une recherche brute.

Signal

Consultez les preuves DNS, enregistrement, sécurité, prix ou réputation actuelles.

Contexte

Comparez le résultat avec des contrôles liés afin de mieux faire confiance à la prochaine action.

Action

Copiez des exemples, ouvrez les outils liés ou passez à la documentation API lorsque vous devez passer à l’échelle.

Signaux de confiance avant intégration

Une documentation transparente, des requêtes authentifiées et des détails de fiabilité visibles facilitent l’évaluation de DomScan avant mise en production.

État du service Artefacts API

OpenAPI, Swagger, Postman, CLI, SDK et liens MCP sont accessibles en un clic.

Clés API Accès protégé

Les endpoints authentifiés utilisent des clés API avec des coûts en crédits clairs avant l’appel.

Quota gratuit Inscrivez-vous gratuitement

Commencez avec 10 000 crédits mensuels et passez à l’offre supérieure seulement quand l’usage augmente.

Actif Exemple de requête

Commencez par les exemples curl et HTTP, puis mappez les paramètres dans le code de votre application.

Fonctionnalités clés

Testez un brouillon avant publication

Collez un robots.txt et voyez comment il traite vos URL, sans rien modifier sur votre site.

Beaucoup d'URL, beaucoup de robots

Jusqu'à 100 URL et 10 user agents en une seule vérification, avec un verdict pour chaque combinaison.

La règle qui tranche

Chaque verdict affiche la règle Allow ou Disallow correspondante et son numéro de ligne, selon la norme officielle du robots.txt.

Exemple de requête

POST /v1/robots/test json
{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}

Construit sur la même API

L'expérience navigateur prévisualise les endpoints structurés de DomScan afin que les équipes valident un cas d’usage avant de coder.

Questions fréquentes

Puis-je tester un robots.txt avant sa mise en ligne ?

Oui. Collez le contenu dans la zone robots.txt et rien n'est récupéré sur votre site. Laissez-la vide pour tester le fichier actuellement en ligne.

Puis-je coller une chaîne user agent complète ?

Oui. Une chaîne complète, comme celle qu'envoie Googlebot, est réduite au nom du robot, qui est ce que les règles du robots.txt ciblent.

Que signifie « inconnu » ?

Le robots.txt en ligne n'a pas pu être lu, par exemple parce que le site a bloqué la requête ou que le délai a expiré. « Inconnu » n'est jamais considéré comme autorisé, et la vérification est remboursée.

Outils et ressources associés