Pour les développeurs, chercheurs et concepteurs d’agents
Utilisez des API ciblées lorsqu’un produit ou un flux a besoin de preuves actuelles issues d’une page publique dans une réponse structurée.
Essayez un produit, un objectif, un chemin d’endpoint ou un sujet d’API.
Données Web
Passez d’une URL à un contenu lisible, sa destination finale, les technologies visibles, sa catégorie et les signaux associés à l’URL.
Utilisez des API ciblées lorsqu’un produit ou un flux a besoin de preuves actuelles issues d’une page publique dans une réponse structurée.
Collectez du contenu pour l’analyser, retracez une destination avant de la suivre ou enrichissez une page connue avec son contexte technologique et catégoriel.
Utilisez Scrape pour le contenu de page. Ajoutez Redirects, Technology Detection, Website Categorization ou URL Intelligence uniquement lorsque ce contexte modifie la décision.
Récupérez des pages web publiques et des documents au format HTML, Markdown, texte prêt pour les LLM ou texte brut, page par page, par lots ou en explorant un site entier.
À choisir lorsque: À choisir lorsque vous avez besoin de HTML, de texte ou de Markdown propres issus de pages publiques, de PDF ou de feuilles de calcul, d’une seule page jusqu’à un site entier, avec rendu ou collecte asynchrone uniquement lorsque ces options sont prises en charge et nécessaires.
Tracez la chaîne de redirection complète pour une URL.
À choisir lorsque: À choisir lorsque la destination et la chaîne de redirections comptent davantage que le contenu de la page.
Détectez la pile technologique utilisée par un site web incluant CMS, frameworks et services.
À choisir lorsque: À choisir lorsque vous avez besoin de preuves de frameworks, plateformes, outils analytiques ou technologies d’infrastructure exposés.
Analysez robots.txt, testez n’importe quel robot et chemin, et voyez quels robots d’IA sont bloqués.
À choisir lorsque: À choisir pour lire le robots.txt d’un site, tester si un robot d’exploration peut accéder à un chemin et voir quels robots d’IA sont autorisés ou bloqués.
Trouvez et auditez les sitemaps XML : nombre d’URL, fraîcheur lastmod et problèmes de protocole.
À choisir lorsque: À choisir pour trouver les sitemaps XML d’un site et vérifier le nombre d’URL, la fraîcheur de lastmod et les problèmes de protocole dans la limite d’un budget fixe de fichiers.
Auditez titres, balises meta, titres de section, liens, images et données structurées avec un score SEO.
À choisir lorsque: Choisissez cette API pour auditer le SEO on-page d’une page, des balises meta et titres de section aux liens, images et données structurées, avec ou sans rendu JavaScript.
Comparez le HTML brut et rendu pour voir quels signaux SEO dépendent de JavaScript.
À choisir lorsque: Choisissez cette API pour voir quels signaux SEO d’une page n’existent qu’après l’exécution de JavaScript, en comparant son HTML brut et son HTML rendu.
Extrayez et validez le balisage schema.org JSON-LD, Microdata et RDFa.
À choisir lorsque: Choisissez cette API pour extraire le JSON-LD, les Microdata et le RDFa d’une page et les vérifier selon les règles schema.org des types de résultats enrichis courants.
Trouvez les mots-clés et expressions les plus fréquents d’une page avec leur pourcentage de densité.
À choisir lorsque: Choisissez cette API pour mesurer la fréquence des mots et expressions d’une page et vérifier où apparaissent les mots-clés cibles.
Listez les liens d’une page et trouvez les liens cassés grâce à des contrôles de statut limités.
À choisir lorsque: Choisissez cette API pour lister les liens d’une page et trouver les liens cassés, les vérifications bloquées restant unknown.
Validez les codes hreflang, x-default, les auto-références et les liens retour.
À choisir lorsque: Choisissez cette API pour valider les balises hreflang d’une page et confirmer que les pages alternatives dans d’autres langues renvoient vers elle.
Testez de nombreuses URL et de nombreux robots face à un robots.txt collé ou en ligne.
À choisir lorsque: Choisissez cet outil pour tester de nombreuses URL et de nombreux robots à la fois face à un robots.txt collé ou en ligne.
Validez les enregistrements ads.txt et app-ads.txt et confirmez les vendeurs avec sellers.json.
À choisir lorsque: Choisissez-le pour valider le fichier ads.txt ou app-ads.txt d’un site et confirmer les vendeurs autorisés avec sellers.json.
Comparez des pages pour détecter contenus, titres et meta descriptions en double.
À choisir lorsque: Choisissez-le pour comparer jusqu’à 10 pages et repérer les contenus dupliqués ainsi que les titres, meta descriptions et H1 répétés.
Explorez jusqu’à 50 pages et trouvez liens cassés, doublons et problèmes on-page.
À choisir lorsque: Choisissez-le pour explorer jusqu’à 50 pages d’un site et trouver liens cassés, doublons et problèmes SEO on-page dans un seul rapport.
Capturez n’importe quelle page en image ou PDF sur ordinateur ou mobile.
À choisir lorsque: Choisissez-le pour capturer une page en PNG, JPEG, WebP ou PDF sur ordinateur ou mobile.
Lancez un audit WCAG automatisé avec violations, éléments concernés et un score.
À choisir lorsque: Choisissez-le pour lancer un audit WCAG automatisé d’une page avec les violations par impact et les éléments concernés.
Listez les cookies, traqueurs et le gestionnaire de consentement présents avant le consentement.
À choisir lorsque: Choisissez-le pour voir les cookies, traqueurs et le gestionnaire de consentement qu’une page charge avant tout consentement.
Mesurez les octets, requêtes, tiers et temps de chargement d’une page.
À choisir lorsque: Choisissez-le pour mesurer les octets, requêtes, tiers, ressources bloquant le rendu et temps de chargement d’une page.
Catégorisez un site web par industrie, type de contenu et sujets.
À choisir lorsque: À choisir lorsque vous avez besoin d’une catégorie générale de contenu ou d’activité pour le routage, la recherche ou l’examen.
Extrayez d’une URL les métadonnées de page normalisées, les champs d’aperçu, les données structurées et les signaux d’identité publics.
À choisir lorsque: À choisir lorsque vous avez besoin d’une structure d’URL normalisée et de signaux orientés risque avant une collecte plus approfondie.
Inspectez l’URL, collectez la page en Markdown, puis ajoutez les éléments de catégorie ou de technologie nécessaires à la tâche de l’agent.
Inspectez l’URL, collectez la page en Markdown, puis ajoutez les éléments de catégorie ou de technologie nécessaires à la tâche de l’agent.
Collectez une page représentative, résolvez sa destination finale et associez son contenu aux signaux de catégorie et de technologie exposée du site.
Envoyez une URL publique à POST /v1/scrape avec une sortie Markdown. Utilisez d’abord le mode standard, puis activez le rendu uniquement si la page nécessite JavaScript.
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}
Scrape une page de manière synchrone ou soumettez 1 à 100 URL publiques à une tâche Scrape asynchrone payante. La détection technologique prend également en charge des parcours groupés et de tâches propres au produit.
La collecte applique des limites aux redirections, à la taille des réponses, à la concurrence et aux modes de traitement. Elle ne garantit pas l’accès à toutes les pages.
Choisissez le mode de collecte suffisant le plus léger, conservez les éléments de preuve de destination et enrichissez le résultat uniquement lorsque le flux en a besoin.
En savoir plusPermettez à un agent de collecter une page, de comprendre le domaine associé et de demander des preuves plus approfondies uniquement lorsque la tâche l’exige.
En savoir plusCollectez des pages publiques et reliez-les au contexte du domaine, de l’entreprise, de la technologie, du DNS et de l’infrastructure.
En savoir plusConsultez les cinq produits de données Web ou effectuez votre première requête Scrape depuis la documentation.