Données Web

Collectez du contenu Web public avec le contexte nécessaire pour l’exploiter

Passez d’une URL à un contenu lisible, sa destination finale, les technologies visibles, sa catégorie et les signaux associés à l’URL.

Pour les développeurs, chercheurs et concepteurs d’agents

Utilisez des API ciblées lorsqu’un produit ou un flux a besoin de preuves actuelles issues d’une page publique dans une réponse structurée.

Commencez par le résultat dont vous avez besoin

Collectez du contenu pour l’analyser, retracez une destination avant de la suivre ou enrichissez une page connue avec son contexte technologique et catégoriel.

Entrées

URLDomaine

Résultats

CollecterÉvaluerDécouvrirEnrichirVérifierComparer

Choisissez le produit le plus ciblé qui répond à la question

Utilisez Scrape pour le contenu de page. Ajoutez Redirects, Technology Detection, Website Categorization ou URL Intelligence uniquement lorsque ce contexte modifie la décision.

Web scraping

Récupérez des pages web publiques et des documents au format HTML, Markdown, texte prêt pour les LLM ou texte brut, page par page, par lots ou en explorant un site entier.

À choisir lorsque: À choisir lorsque vous avez besoin de HTML, de texte ou de Markdown propres issus de pages publiques, de PDF ou de feuilles de calcul, d’une seule page jusqu’à un site entier, avec rendu ou collecte asynchrone uniquement lorsque ces options sont prises en charge et nécessaires.

Entrées
URL
Résultats
Collecter
Crédits
0-20
SynchroneAsynchroneRESTMCPSDK

Chaîne de Redirection

Tracez la chaîne de redirection complète pour une URL.

À choisir lorsque: À choisir lorsque la destination et la chaîne de redirections comptent davantage que le contenu de la page.

Entrées
URL, Domaine
Résultats
Collecter, Évaluer
Crédits
2
SynchroneRESTMCPSDKOutil interactif

Détection de Pile Technologique

Détectez la pile technologique utilisée par un site web incluant CMS, frameworks et services.

À choisir lorsque: À choisir lorsque vous avez besoin de preuves de frameworks, plateformes, outils analytiques ou technologies d’infrastructure exposés.

Entrées
URL, Domaine
Résultats
Découvrir, Enrichir, Évaluer
Crédits
0-9
SynchronePar lotsAsynchroneRESTMCPSDKOutil interactif

API robots.txt

Analysez robots.txt, testez n’importe quel robot et chemin, et voyez quels robots d’IA sont bloqués.

À choisir lorsque: À choisir pour lire le robots.txt d’un site, tester si un robot d’exploration peut accéder à un chemin et voir quels robots d’IA sont autorisés ou bloqués.

Entrées
URL, Domaine
Résultats
Vérifier, Évaluer
Crédits
1
SynchroneRESTMCPSDKOutil interactif

API d’audit de sitemap XML

Trouvez et auditez les sitemaps XML : nombre d’URL, fraîcheur lastmod et problèmes de protocole.

À choisir lorsque: À choisir pour trouver les sitemaps XML d’un site et vérifier le nombre d’URL, la fraîcheur de lastmod et les problèmes de protocole dans la limite d’un budget fixe de fichiers.

Entrées
URL, Domaine
Résultats
Découvrir, Vérifier, Évaluer
Crédits
2
SynchroneRESTMCPSDKOutil interactif

API d’audit SEO on-page

Auditez titres, balises meta, titres de section, liens, images et données structurées avec un score SEO.

À choisir lorsque: Choisissez cette API pour auditer le SEO on-page d’une page, des balises meta et titres de section aux liens, images et données structurées, avec ou sans rendu JavaScript.

Entrées
URL, Domaine
Résultats
Vérifier, Évaluer
Crédits
2-6
SynchroneRESTMCPSDKOutil interactif

API de contrôle du rendu JavaScript SEO

Comparez le HTML brut et rendu pour voir quels signaux SEO dépendent de JavaScript.

À choisir lorsque: Choisissez cette API pour voir quels signaux SEO d’une page n’existent qu’après l’exécution de JavaScript, en comparant son HTML brut et son HTML rendu.

Entrées
URL, Domaine
Résultats
Comparer, Évaluer
Crédits
7
SynchroneRESTMCPSDKOutil interactif

API de validation des données structurées

Extrayez et validez le balisage schema.org JSON-LD, Microdata et RDFa.

À choisir lorsque: Choisissez cette API pour extraire le JSON-LD, les Microdata et le RDFa d’une page et les vérifier selon les règles schema.org des types de résultats enrichis courants.

Entrées
URL, Domaine
Résultats
Vérifier, Évaluer
Crédits
2-6
SynchroneRESTMCPSDKOutil interactif

API Keyword Density

Trouvez les mots-clés et expressions les plus fréquents d’une page avec leur pourcentage de densité.

À choisir lorsque: Choisissez cette API pour mesurer la fréquence des mots et expressions d’une page et vérifier où apparaissent les mots-clés cibles.

Entrées
URL, Domaine
Résultats
Évaluer
Crédits
2-6
SynchroneRESTMCPSDKOutil interactif

API des liens de page et de vérification des liens cassés

Listez les liens d’une page et trouvez les liens cassés grâce à des contrôles de statut limités.

À choisir lorsque: Choisissez cette API pour lister les liens d’une page et trouver les liens cassés, les vérifications bloquées restant unknown.

Entrées
URL, Domaine
Résultats
Découvrir, Vérifier
Crédits
2-6
SynchroneRESTMCPSDKOutil interactif

API de validation hreflang

Validez les codes hreflang, x-default, les auto-références et les liens retour.

À choisir lorsque: Choisissez cette API pour valider les balises hreflang d’une page et confirmer que les pages alternatives dans d’autres langues renvoient vers elle.

Entrées
URL, Domaine
Résultats
Vérifier, Évaluer
Crédits
3
SynchroneRESTMCPSDKOutil interactif

API Testeur de robots.txt

Testez de nombreuses URL et de nombreux robots face à un robots.txt collé ou en ligne.

À choisir lorsque: Choisissez cet outil pour tester de nombreuses URL et de nombreux robots à la fois face à un robots.txt collé ou en ligne.

Entrées
URL, Domaine
Résultats
Vérifier, Évaluer
Crédits
1
SynchroneRESTMCPSDKOutil interactif

API de validation ads.txt et sellers.json

Validez les enregistrements ads.txt et app-ads.txt et confirmez les vendeurs avec sellers.json.

À choisir lorsque: Choisissez-le pour valider le fichier ads.txt ou app-ads.txt d’un site et confirmer les vendeurs autorisés avec sellers.json.

Entrées
URL, Domaine
Résultats
Vérifier, Évaluer
Crédits
2-5
SynchroneRESTMCPSDKOutil interactif

API de détection de contenu dupliqué

Comparez des pages pour détecter contenus, titres et meta descriptions en double.

À choisir lorsque: Choisissez-le pour comparer jusqu’à 10 pages et repérer les contenus dupliqués ainsi que les titres, meta descriptions et H1 répétés.

Entrées
URL, Domaine
Résultats
Comparer, Évaluer
Crédits
5
SynchroneRESTMCPSDKOutil interactif

API d’audit de site et de crawler SEO

Explorez jusqu’à 50 pages et trouvez liens cassés, doublons et problèmes on-page.

À choisir lorsque: Choisissez-le pour explorer jusqu’à 50 pages d’un site et trouver liens cassés, doublons et problèmes SEO on-page dans un seul rapport.

Entrées
URL, Domaine
Résultats
Découvrir, Évaluer
Crédits
10-35
SynchroneRESTMCPSDKOutil interactif

API de capture d’écran de site

Capturez n’importe quelle page en image ou PDF sur ordinateur ou mobile.

À choisir lorsque: Choisissez-le pour capturer une page en PNG, JPEG, WebP ou PDF sur ordinateur ou mobile.

Entrées
URL, Domaine
Résultats
Découvrir, Vérifier
Crédits
10
SynchroneRESTMCPSDKOutil interactif

API Accessibility Audit

Lancez un audit WCAG automatisé avec violations, éléments concernés et un score.

À choisir lorsque: Choisissez-le pour lancer un audit WCAG automatisé d’une page avec les violations par impact et les éléments concernés.

Entrées
URL, Domaine
Résultats
Vérifier, Évaluer
Crédits
8
SynchroneRESTMCPSDKOutil interactif

API d’analyse de cookies et de traqueurs

Listez les cookies, traqueurs et le gestionnaire de consentement présents avant le consentement.

À choisir lorsque: Choisissez-le pour voir les cookies, traqueurs et le gestionnaire de consentement qu’une page charge avant tout consentement.

Entrées
URL, Domaine
Résultats
Découvrir, Évaluer
Crédits
8
SynchroneRESTMCPSDKOutil interactif

API de poids de page et de ressources

Mesurez les octets, requêtes, tiers et temps de chargement d’une page.

À choisir lorsque: Choisissez-le pour mesurer les octets, requêtes, tiers, ressources bloquant le rendu et temps de chargement d’une page.

Entrées
URL, Domaine
Résultats
Évaluer
Crédits
6
SynchroneRESTMCPSDKOutil interactif

Catégorisation de Site Web

Catégorisez un site web par industrie, type de contenu et sujets.

À choisir lorsque: À choisir lorsque vous avez besoin d’une catégorie générale de contenu ou d’activité pour le routage, la recherche ou l’examen.

Entrées
URL, Domaine
Résultats
Enrichir, Évaluer
Crédits
0-3
SynchronePar lotsRESTMCPSDKOutil interactif

Intelligence URL unifiée

Extrayez d’une URL les métadonnées de page normalisées, les champs d’aperçu, les données structurées et les signaux d’identité publics.

À choisir lorsque: À choisir lorsque vous avez besoin d’une structure d’URL normalisée et de signaux orientés risque avant une collecte plus approfondie.

Entrées
URL
Résultats
Collecter, Enrichir
Crédits
2
SynchronePar lotsRESTMCPSDK

Flux de travail

Inspectez l’URL, collectez la page en Markdown, puis ajoutez les éléments de catégorie ou de technologie nécessaires à la tâche de l’agent.

De la page au contexte prêt pour un agent

Inspectez l’URL, collectez la page en Markdown, puis ajoutez les éléments de catégorie ou de technologie nécessaires à la tâche de l’agent.

Instantané de recherche d’un site Web

Collectez une page représentative, résolvez sa destination finale et associez son contenu aux signaux de catégorie et de technologie exposée du site.

Collecter une page publique en Markdown

Envoyez une URL publique à POST /v1/scrape avec une sortie Markdown. Utilisez d’abord le mode standard, puis activez le rendu uniquement si la page nécessite JavaScript.

Exemple de requête
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'
Exemple de réponse
{
  "data": {
    "url": "https://example.com",
    "outcome": "success",
    "content": "# Example Domain",
    "truncated": false
  },
  "billing": { "credits_charged": 1, "credits_refunded": 0 }
}

Le synchrone d’abord, les tâches lorsque la charge l’exige

Scrape une page de manière synchrone ou soumettez 1 à 100 URL publiques à une tâche Scrape asynchrone payante. La détection technologique prend également en charge des parcours groupés et de tâches propres au produit.

SynchronePar lotsAsynchroneRESTMCPSDKOutil interactif

Collecte encadrée de pages publiques

La collecte applique des limites aux redirections, à la taille des réponses, à la concurrence et aux modes de traitement. Elle ne garantit pas l’accès à toutes les pages.

Commencez par une page, puis ajoutez seulement le contexte nécessaire

Consultez les cinq produits de données Web ou effectuez votre première requête Scrape depuis la documentation.