Webデータ

使えるコンテキストとともに公開Webコンテンツを収集する

URLから読みやすいコンテンツ、最終遷移先、表示された技術、カテゴリ、URLレベルのシグナルへ進みます。

開発者、調査担当者、エージェント開発者向け

製品やワークフローで最新の公開ページ証拠を構造化レスポンスとして必要とするときに、焦点化されたAPIを使います。

必要な出力から始める

分析用にコンテンツを収集し、追跡前に遷移先を確認するか、既知のページに技術とカテゴリのコンテキストを加えます。

入力

URLドメイン

結果

収集評価発見拡充検証比較

質問に答える最も絞り込んだ製品を選ぶ

ページコンテンツにはScrapeを使います。判断が変わる場合だけRedirects、Technology Detection、Website Categorization、URL Intelligenceを追加します。

ウェブスクレイピング

公開ウェブページやドキュメントを、HTML、Markdown、LLM向けテキスト、プレーンテキストとして取得します。1ページずつ、バッチ処理、サイト全体のクロールのいずれにも対応しています。

この製品を選ぶ場面: 公開ページ、PDF、スプレッドシートから、クリーンなHTML、テキスト、Markdownが必要なときに選びます。1ページからサイト全体まで対応し、レンダリングや非同期収集は対応していて必要な場合だけ使います。

入力
URL
結果
収集
クレジット
0-20
同期非同期RESTMCPSDK

リダイレクトチェーン

URL の完全なリダイレクトチェーンをトレースします。

この製品を選ぶ場面: ページ本文よりも遷移先とリダイレクトチェーンが重要なときに選びます。

入力
URL, ドメイン
結果
収集, 評価
クレジット
2
同期RESTMCPSDKインタラクティブツール

テックスタック検出

CMS、フレームワーク、サービスを含むウェブサイトで使用されているテクノロジースタックを検出します。

この製品を選ぶ場面: 露出したフレームワーク、プラットフォーム、分析ツール、インフラ技術の証拠が必要なときに選びます。

入力
URL, ドメイン
結果
発見, 拡充, 評価
クレジット
0-9
同期一括非同期RESTMCPSDKインタラクティブツール

robots.txt API

robots.txtを解析し、任意のクローラーとパスをテストして、ブロックされているAIクローラーを確認します。

この製品を選ぶ場面: サイトのrobots.txtを読み取り、クローラーが特定のパスを取得できるかをテストし、許可またはブロックされているAIクローラーを確認したいときに選びます。

入力
URL, ドメイン
結果
検証, 評価
クレジット
1
同期RESTMCPSDKインタラクティブツール

XMLサイトマップ監査API

XMLサイトマップを検出して監査し、URL数、lastmodの鮮度、プロトコル上の問題を確認します。

この製品を選ぶ場面: サイトのXMLサイトマップを検出し、固定されたファイル数の範囲内でURL数、lastmodの更新状況、プロトコル上の問題を確認したいときに選びます。

入力
URL, ドメイン
結果
発見, 検証, 評価
クレジット
2
同期RESTMCPSDKインタラクティブツール

オンページSEO監査API

タイトル、メタタグ、見出し、リンク、画像、構造化データをSEOスコアで監査します。

この製品を選ぶ場面: メタタグや見出しから、リンク、画像、構造化データまで、1ページのオンページSEOを、JavaScriptレンダリングの有無を問わず監査したい場合にお選びください。

入力
URL, ドメイン
結果
検証, 評価
クレジット
2-6
同期RESTMCPSDKインタラクティブツール

JavaScript SEOレンダリングチェックAPI

生のHTMLとレンダリング後のHTMLを比較し、JavaScriptに依存するSEOシグナルを確認します。

この製品を選ぶ場面: ページの生のHTMLとレンダリング後のHTMLを比較し、JavaScriptの実行後にのみ存在するSEOシグナルを確認したい場合にお選びください。

入力
URL, ドメイン
結果
比較, 評価
クレジット
7
同期RESTMCPSDKインタラクティブツール

構造化データ検証API

JSON-LD、Microdata、RDFaのschema.orgマークアップを抽出して検証します。

この製品を選ぶ場面: ページからJSON-LD、Microdata、RDFaを抽出し、よく使われるリッチリザルトのタイプに対するschema.orgのルールで確認したい場合にお選びください。

入力
URL, ドメイン
結果
検証, 評価
クレジット
2-6
同期RESTMCPSDKインタラクティブツール

キーワード密度API

ページ上で出現頻度の高いキーワードとフレーズを、密度のパーセンテージ付きで調べます。

この製品を選ぶ場面: ページ上の単語とフレーズの出現頻度を測定し、ターゲットキーワードがどこに出現するかを確認したい場合にお選びください。

入力
URL, ドメイン
結果
評価
クレジット
2-6
同期RESTMCPSDKインタラクティブツール

ページリンクとリンク切れチェッカーAPI

ページのリンクを一覧表示し、上限付きのステータスチェックでリンク切れを検出します。

この製品を選ぶ場面: ページ上のリンクを一覧表示してリンク切れを検出したい場合にお選びください。ブロックされたチェックは不明のまま扱われます。

入力
URL, ドメイン
結果
発見, 検証
クレジット
2-6
同期RESTMCPSDKインタラクティブツール

Hreflang検証API

hreflangコード、x-default、自己参照、相互リンクを検証します。

この製品を選ぶ場面: ページのhreflangタグを検証し、代替言語のページから相互にリンクされているかを確認したい場合にお選びください。

入力
URL, ドメイン
結果
検証, 評価
クレジット
3
同期RESTMCPSDKインタラクティブツール

robots.txt テスター API

貼り付けた robots.txt または公開中の robots.txt に対して、多数の URL とクローラーをまとめてテストします。

この製品を選ぶ場面: 貼り付けた robots.txt または公開中の robots.txt に対して、多数の URL とクローラーを一度にテストしたい場合はこちらを選んでください。

入力
URL, ドメイン
結果
検証, 評価
クレジット
1
同期RESTMCPSDKインタラクティブツール

ads.txtとsellers.jsonの検証API

ads.txtとapp-ads.txtのレコードを検証し、sellers.jsonと照合して販売者を確認します。

この製品を選ぶ場面: サイトのads.txtやapp-ads.txtを検証し、sellers.jsonと照合して承認済みの販売者を確認したい場合に選びます。

入力
URL, ドメイン
結果
検証, 評価
クレジット
2-5
同期RESTMCPSDKインタラクティブツール

重複コンテンツチェッカーAPI

ページ間の重複コンテンツ、タイトル、メタディスクリプションを比較します。

この製品を選ぶ場面: 最大10ページを比較して、重複コンテンツと、繰り返されるタイトル、メタディスクリプション、H1を調べたい場合に選びます。

入力
URL, ドメイン
結果
比較, 評価
クレジット
5
同期RESTMCPSDKインタラクティブツール

サイト監査とSEOクローラーAPI

最大50ページをクロールして、リンク切れ、重複、オンページの問題を検出します。

この製品を選ぶ場面: サイトの最大50ページをクロールして、リンク切れ、重複、オンページSEOの問題を1つのレポートで確認したい場合に選びます。

入力
URL, ドメイン
結果
発見, 評価
クレジット
10-35
同期RESTMCPSDKインタラクティブツール

ウェブサイトスクリーンショットAPI

デスクトップまたはモバイルで、任意のページを画像やPDFとして取得します。

この製品を選ぶ場面: デスクトップまたはモバイルで、ページをPNG、JPEG、WebP、PDFとして取得したい場合に選びます。

入力
URL, ドメイン
結果
発見, 検証
クレジット
10
同期RESTMCPSDKインタラクティブツール

アクセシビリティ監査API

自動化されたWCAG監査で、違反、該当する要素、スコアを確認できます。

この製品を選ぶ場面: ページの自動化されたWCAG監査を実行し、影響度別の違反と該当する要素を確認したい場合に選びます。

入力
URL, ドメイン
結果
検証, 評価
クレジット
8
同期RESTMCPSDKインタラクティブツール

CookieとトラッカーのスキャナーAPI

同意前に確認されたCookie、トラッカー、同意管理ツールを一覧表示します。

この製品を選ぶ場面: 同意前にページが読み込むCookie、トラッカー、同意管理ツールを確認したい場合に選びます。

入力
URL, ドメイン
結果
発見, 評価
クレジット
8
同期RESTMCPSDKインタラクティブツール

ページ重量とリソースのAPI

ページのバイト数、リクエスト、サードパーティ、読み込みタイミングを計測します。

この製品を選ぶ場面: ページのバイト数、リクエスト、サードパーティ、レンダリングをブロックするリソース、タイミングを計測したい場合に選びます。

入力
URL, ドメイン
結果
評価
クレジット
6
同期RESTMCPSDKインタラクティブツール

ウェブサイトカテゴリ化

業界、コンテンツタイプ、トピックごとにウェブサイトを分類します。

この製品を選ぶ場面: 振り分け、調査、レビューのために、広いコンテンツまたはビジネスカテゴリが必要なときに選びます。

入力
URL, ドメイン
結果
拡充, 評価
クレジット
0-3
同期一括RESTMCPSDKインタラクティブツール

統合 URL インテリジェンス

URL から、正規化したページメタデータ、プレビュー項目、構造化データ、公開アイデンティティシグナルを抽出します。

この製品を選ぶ場面: 深い収集の前に、正規化されたURL構造とリスク指向のURLシグナルが必要なときに選びます。

入力
URL
結果
収集, 拡充
クレジット
2
同期一括RESTMCPSDK

ワークフロー

URLを調べ、ページをMarkdownで収集し、エージェントのタスクに必要なカテゴリまたは技術の証拠を加えます。

ページからエージェント対応コンテキストへ

URLを調べ、ページをMarkdownで収集し、エージェントのタスクに必要なカテゴリまたは技術の証拠を加えます。

Webサイト調査スナップショット

代表的なページを収集し、最終遷移先を解決して、コンテンツをWebサイトカテゴリと露出技術のシグナルに結び付けます。

公開ページをMarkdownで1件収集する

公開URLをMarkdown出力でPOST /v1/scrapeに送信します。まずstandardモードを使い、JavaScriptが必要な場合だけレンダリングを選びます。

リクエスト例
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'
レスポンス例
{
  "data": {
    "url": "https://example.com",
    "outcome": "success",
    "content": "# Example Domain",
    "truncated": false
  },
  "billing": { "credits_charged": 1, "credits_refunded": 0 }
}

まず同期処理、負荷に応じてジョブを利用

1ページを同期で取得するか、公開URLを1から100件まで有料の非同期Scrapeジョブに送信します。Technology Detectionにも製品固有の一括処理とジョブ経路があります。

同期一括非同期RESTMCPSDKインタラクティブツール

範囲を限定した公開ページ収集

収集にはリダイレクト、レスポンスサイズ、同時実行数、処理モードの上限があります。すべてのページにアクセスできるとは限りません。

1ページから始め、必要なコンテキストだけを追加する

5つのWebデータ製品を確認するか、ドキュメントから最初のScrapeリクエストを作成します。