Données web

API de détection de contenu dupliqué

Comparez de 2 à 10 pages en une seule requête. Obtenez un score de similarité pour chaque paire de pages à partir de leur contenu principal, des groupes de pages quasi identiques, ainsi que les titres, meta descriptions et H1 répétés.

Voir la documentation Essayer l’outil gratuit Explorer toutes les API

Points de terminaison Actif

GET /v1/duplicate-content

Exemple de requête

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/duplicate-content?urls=example.com/a,example.com/b,example.com/c"

Exemple de réponse 200 OK

{
  "status": "ok",
  "pairs": [
    { "a": "https://example.com/a", "b": "https://example.com/b", "similarity": 0.91, "containment": 0.96, "near_duplicate": true, "canonicalized": false }
  ],
  "clusters": [["https://example.com/a", "https://example.com/b"]],
  "duplicates": {
    "titles": [{ "value": "trail running shoes", "urls": ["https://example.com/a
...

Exemple de requête GET /v1/duplicate-content

Fonctionnalités clés 4

Questions fréquentes 4

Codes de statut HTTP 200 / 400 / 401 / 402 / 429

Catégorie Données web

Points de terminaison 1

Fonctionnalités clés 4

Questions fréquentes 4

Utilisé par des équipes de ces entreprises

Signaux de confiance avant intégration

Une documentation transparente, des requêtes authentifiées et des détails de fiabilité visibles facilitent l’évaluation de DomScan avant mise en production.

En direct État du service

Vérifiez l’état du service en direct et les réponses d’échec documentées avant de procéder à l’intégration.

OpenAPI Artefacts API

OpenAPI, Swagger, Postman, CLI, SDK et liens MCP sont accessibles en un clic.

Clés API Accès protégé

Les endpoints authentifiés utilisent des clés API avec des coûts en crédits clairs avant l’appel.

10,000 Quota gratuit

Commencez avec 10 000 crédits mensuels et passez à l’offre supérieure seulement quand l’usage augmente.

Ce que cette API vous aide à livrer

Utilisez cette page comme brief de production : endpoints, exemples, structure de réponse et éléments de workflow pour intégrer DomScan à votre produit.

Workflows produit

Intégrez vérifications de domaines, intelligence DNS, signaux de risque ou enrichissement dans l’onboarding, la recherche et les outils internes.

Automatisation analyste

Remplacez les recherches manuelles répétées par des tâches planifiées, des alertes et des étapes d’enquête reproductibles.

Données JSON propres

Utilisez des champs prévisibles, des codes d’état documentés et des coûts en crédits au lieu de scraper des pages fournisseur.

IA et opérations

Alimentez agents, tableaux de bord, playbooks SOAR et CRMs via OpenAPI, SDK, Postman ou MCP.

Flux d’intégration

Un parcours simple de la première requête à un usage répétable en production.

Authentifier une fois

Envoyez votre clé API avec l’en-tête documenté et gardez des requêtes cohérentes entre services.

Interroger avec les exemples

Commencez par les exemples curl et HTTP, puis mappez les paramètres dans le code de votre application.

Exploiter et surveiller

Utilisez codes d’état, coûts en crédits et champs de réponse pour construire retries, logs et alertes.

Kit développeur

Passez de cette page aux docs lisibles par machine, collections de requêtes, SDKs ou outils d’agents.

Schéma OpenAPI

Générez des clients ou inspectez chaque forme de requête et de réponse.

Collection Postman

Importez des requêtes prêtes pour les tests manuels et le transfert à l’équipe.

SDKs et CLI

Utilisez des packages maintenus et des workflows en ligne de commande au lieu d’écrire du boilerplate.

Intégration MCP

Exposez l’intelligence de domaines aux agents IA et aux assistants internes.

Carte des paramètres et réponses

Parcourez les entrées, champs de sortie et codes d’état avant de connecter l’endpoint à votre client.

Paramètres de requête

Paramètre

urls

Champs de réponse

Exemple de réponse

statuspairsclustersduplicatesduplicates.titlesduplicates.meta_descriptionsduplicates.h1

Couverture des statuts

Codes de statut HTTP

200400401402429

Points de terminaison

GET /v1/duplicate-content

Crédits: 5Authentification: Authentification requise

Signaux de confiance avant intégration

Une documentation transparente, des requêtes authentifiées et des détails de fiabilité visibles facilitent l’évaluation de DomScan avant mise en production.

État du service Artefacts API

OpenAPI, Swagger, Postman, CLI, SDK et liens MCP sont accessibles en un clic.

Clés API Accès protégé

Les endpoints authentifiés utilisent des clés API avec des coûts en crédits clairs avant l’appel.

Quota gratuit Inscrivez-vous gratuitement

Commencez avec 10 000 crédits mensuels et passez à l’offre supérieure seulement quand l’usage augmente.

Actif Exemple de requête

Commencez par les exemples curl et HTTP, puis mappez les paramètres dans le code de votre application.

Fonctionnalités clés

Contenu principal uniquement

Les en-têtes, la navigation, les pieds de page, les barres latérales et les formulaires sont retirés avant la comparaison, afin que les gabarits communs ne gonflent pas le score.

Similarité et inclusion

La similarité mesure le recouvrement entre deux pages ; l’inclusion indique quelle part de la page la plus courte apparaît dans la plus longue.

Conscient des canonical

Les paires où une page déclare déjà l’autre comme canonical sont signalées, pour que vous vous concentriez sur les doublons non résolus.

Doublons de métadonnées

Les titres, meta descriptions et H1 répétés sont regroupés avec les URL qui les partagent.

Exemple de requête

GET /v1/duplicate-content?urls=example.com/a,example.com/b,example.com/c bash

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/duplicate-content?urls=example.com/a,example.com/b,example.com/c"

Exemple de réponse

200 OK json

{
  "status": "ok",
  "pairs": [
    { "a": "https://example.com/a", "b": "https://example.com/b", "similarity": 0.91, "containment": 0.96, "near_duplicate": true, "canonicalized": false }
  ],
  "clusters": [["https://example.com/a", "https://example.com/b"]],
  "duplicates": {
    "titles": [{ "value": "trail running shoes", "urls": ["https://example.com/a", "https://example.com/b"] }],
    "meta_descriptions": [],
    "h1": []
  }
}

Questions fréquentes

Quand deux pages sont-elles quasi identiques ?

Lorsque leur similarité est de 0,8 ou plus. Au-delà de ce niveau, les pages se concurrencent généralement dans les résultats de recherche.

Comment la similarité est-elle calculée ?

Le texte principal de chaque page est découpé en séquences de cinq mots qui se chevauchent, et le score correspond à la part de séquences que les deux pages ont en commun.

Que se passe-t-il si une page ne peut pas être lue ?

Elle est listée avec sa raison et exclue de toutes les comparaisons. Si moins de deux pages peuvent être lues, le résultat est inconnu et remboursé.

Combien de crédits cela coûte-t-il ?

Cinq crédits par requête pour jusqu’à 10 URL.

Outils et ressources associés

Codes de statut HTTP

Voici les codes d'état HTTP à gérer, afin de distinguer les réponses réussies, les problèmes d'authentification, les crédits, les limites de débit, les données introuvables et les erreurs en amont.

OK 200

Requête réussie

Requête incorrecte 400

Paramètres invalides

Non autorisé 401

Clé API ou session manquante ou invalide.

Paiement requis 402

Crédits insuffisants pour exécuter cette requête.

Trop de requêtes 429

Limite de débit dépassée

Comparer des pages

Commencer gratuitement Voir la documentation Essayer l’outil gratuit