ウェブデータ

重複コンテンツチェッカーAPI

1回のリクエストで2〜10ページを比較します。メインコンテンツに基づくページ間の類似度スコア、ほぼ重複するページのグループ、繰り返されるタイトル、メタディスクリプション、H1を取得できます。

カテゴリ ウェブデータ
エンドポイント 1
主な機能 4
よくある質問 4

これらの企業の担当者に使われています

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse

統合前に確認できる信頼シグナル

透明なドキュメント、認証済みリクエスト、見える信頼性情報により、本番投入前に DomScan を評価しやすくなります。

ライブ サービスステータス

統合前に、現在のサービス稼働状況と文書化されたエラー応答を確認してください。

OpenAPI API アーティファクト

OpenAPI、Swagger、Postman、CLI、SDK、MCP のリンクにすぐアクセスできます。

API キー 保護されたアクセス

認証付きエンドポイントは API キーを使用し、呼び出し前に明確なクレジットコストを示します。

10,000 無料枠

毎月 10,000 クレジットから始め、利用が増えたときだけアップグレードできます。

この API で実装できること

このページを本番導入向けの概要として使えます。エンドポイント、例、レスポンス形状、DomScan を製品に組み込むためのワークフローをまとめています。

プロダクトワークフロー

ドメイン確認、DNS インテリジェンス、リスクシグナル、エンリッチメントをオンボーディング、検索、社内ツールに組み込めます。

アナリスト自動化

繰り返しの手動検索を、スケジュールジョブ、アラート、再現可能な調査手順に置き換えます。

クリーンな JSON データ

提供元ページをスクレイピングせず、予測可能なフィールド、文書化済みステータスコード、クレジットコストを使えます。

AI と運用ツール

OpenAPI、SDK、Postman、MCP を通じて、エージェント、ダッシュボード、SOAR プレイブック、CRM に接続できます。

統合ワークフロー

最初のリクエストから本番で繰り返し使える状態までのシンプルな流れです。

1
一度認証する

文書化されたヘッダーで API キーを送信し、サービス間で一貫したリクエストを保ちます。

2
例から問い合わせる

curl と HTTP サンプルから始め、パラメータをアプリケーションコードに対応付けます。

3
運用と監視

ステータスコード、クレジットコスト、レスポンスフィールドを使ってリトライ、ログ、アラートを構築します。

開発者キット

機械可読なドキュメント、リクエスト集、SDK、エージェント用ツールへすぐ移動できます。

パラメータとレスポンスのマップ

クライアントに接続する前に、入力、出力フィールド、ステータスコードを確認できます。

リクエストパラメータ

パラメータ

urls
レスポンスフィールド

レスポンス例

statuspairsclustersduplicatesduplicates.titlesduplicates.meta_descriptionsduplicates.h1
ステータス範囲

HTTP ステータスコード

200400401402429

エンドポイント

GET /v1/duplicate-content
クレジット: 5認証: 認証が必要です

統合前に確認できる信頼シグナル

透明なドキュメント、認証済みリクエスト、見える信頼性情報により、本番投入前に DomScan を評価しやすくなります。

サービスステータス API アーティファクト

OpenAPI、Swagger、Postman、CLI、SDK、MCP のリンクにすぐアクセスできます。

API キー 保護されたアクセス

認証付きエンドポイントは API キーを使用し、呼び出し前に明確なクレジットコストを示します。

無料枠 無料でサインアップ

毎月 10,000 クレジットから始め、利用が増えたときだけアップグレードできます。

アクティブ リクエスト例

curl と HTTP サンプルから始め、パラメータをアプリケーションコードに対応付けます。

主な機能

メインコンテンツのみ

ヘッダー、ナビゲーション、フッター、サイドバー、フォームは比較前に除外されるため、共通テンプレートがスコアを押し上げることはありません。

類似度と包含度

類似度は2つのページの重なりを測り、包含度は短いほうのページの内容が長いほうにどれだけ含まれているかを示します。

canonical対応

一方のページがすでにもう一方をcanonicalとして宣言している組み合わせにはフラグが付くため、未解決の重複に集中できます。

メタデータの重複

繰り返されるタイトル、メタディスクリプション、H1を、それらを共有するURLとともにグループ化します。

リクエスト例

GET /v1/duplicate-content?urls=example.com/a,example.com/b,example.com/c bash
curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/duplicate-content?urls=example.com/a,example.com/b,example.com/c"

レスポンス例

200 OK json
{
  "status": "ok",
  "pairs": [
    { "a": "https://example.com/a", "b": "https://example.com/b", "similarity": 0.91, "containment": 0.96, "near_duplicate": true, "canonicalized": false }
  ],
  "clusters": [["https://example.com/a", "https://example.com/b"]],
  "duplicates": {
    "titles": [{ "value": "trail running shoes", "urls": ["https://example.com/a", "https://example.com/b"] }],
    "meta_descriptions": [],
    "h1": []
  }
}

よくある質問

2つのページはどのような場合にほぼ重複となりますか?

類似度が0.8以上の場合です。このレベルを超えるページは、通常、検索結果で互いに競合します。

類似度はどのように計算されますか?

各ページのメインテキストを、重なり合う5語の連続に分割し、2つのページに共通する連続の割合をスコアとします。

ページを読み取れない場合はどうなりますか?

理由とともに一覧に表示され、すべての比較から除外されます。読み取れるページが2件未満の場合、結果はunknownとなり、返金されます。

何クレジットかかりますか?

最大10件のURLまで、1回のリクエストにつき5クレジットです。

関連ツールとリソース

HTTP ステータスコード

正常な応答、認証の問題、クレジット不足、レート制限、データ未検出、上流サービス障害を判別できるよう、クライアントで処理すべきHTTPステータスコードを明記しています。

成功 200

リクエスト成功

不正なリクエスト 400

無効なパラメータ

未認証 401

APIキーまたはセッションが不足しているか無効です。

支払いが必要 402

このリクエストを実行するためのクレジットが不足しています。

リクエスト過多 429

レート制限を超過