開発者、調査担当者、エージェント開発者向け
製品やワークフローで最新の公開ページ証拠を構造化レスポンスとして必要とするときに、焦点化されたAPIを使います。
Webデータ
使えるコンテキストとともに公開Webコンテンツを収集する
URLから読みやすいコンテンツ、最終遷移先、表示された技術、カテゴリ、URLレベルのシグナルへ進みます。
必要な出力から始める
分析用にコンテンツを収集し、追跡前に遷移先を確認するか、既知のページに技術とカテゴリのコンテキストを加えます。
入力
URLドメイン
結果
収集評価発見拡充
質問に答える最も絞り込んだ製品を選ぶ
ページコンテンツにはScrapeを使います。判断が変わる場合だけRedirects、Technology Detection、Website Categorization、URL Intelligenceを追加します。
ウェブスクレイピング
公開ウェブページをHTML、Markdown、またはテキストとして取得します。同期と非同期のオプションに対応しています。
この製品を選ぶ場面: 公開ページからHTML、テキスト、Markdownが必要なときに選びます。レンダリングや非同期収集は対応し、必要な場合だけ使います。
- 入力
- URL
- 結果
- 収集
- クレジット
- 0-20
同期非同期RESTMCPSDK
リダイレクトチェーン
URL の完全なリダイレクトチェーンをトレースします。
この製品を選ぶ場面: ページ本文よりも遷移先とリダイレクトチェーンが重要なときに選びます。
- 入力
- URL, ドメイン
- 結果
- 収集, 評価
- クレジット
- 2
同期RESTMCPSDKインタラクティブツール
テックスタック検出
CMS、フレームワーク、サービスを含むウェブサイトで使用されているテクノロジースタックを検出します。
この製品を選ぶ場面: 露出したフレームワーク、プラットフォーム、分析ツール、インフラ技術の証拠が必要なときに選びます。
- 入力
- URL, ドメイン
- 結果
- 発見, 拡充, 評価
- クレジット
- 0-9
同期一括非同期RESTMCPSDKインタラクティブツール
ウェブサイトカテゴリ化
業界、コンテンツタイプ、トピックごとにウェブサイトを分類します。
この製品を選ぶ場面: 振り分け、調査、レビューのために、広いコンテンツまたはビジネスカテゴリが必要なときに選びます。
- 入力
- URL, ドメイン
- 結果
- 拡充, 評価
- クレジット
- 0-3
同期一括RESTMCPSDKインタラクティブツール
統合 URL インテリジェンス
URL から、正規化したページメタデータ、プレビュー項目、構造化データ、公開アイデンティティシグナルを抽出します。
この製品を選ぶ場面: 深い収集の前に、正規化されたURL構造とリスク指向のURLシグナルが必要なときに選びます。
- 入力
- URL
- 結果
- 収集, 拡充
- クレジット
- 2
同期一括RESTMCPSDK
ワークフロー
URLを調べ、ページをMarkdownで収集し、エージェントのタスクに必要なカテゴリまたは技術の証拠を加えます。
ページからエージェント対応コンテキストへ
URLを調べ、ページをMarkdownで収集し、エージェントのタスクに必要なカテゴリまたは技術の証拠を加えます。
Webサイト調査スナップショット
代表的なページを収集し、最終遷移先を解決して、コンテンツをWebサイトカテゴリと露出技術のシグナルに結び付けます。
公開ページをMarkdownで1件収集する
公開URLをMarkdown出力でPOST /v1/scrapeに送信します。まずstandardモードを使い、JavaScriptが必要な場合だけレンダリングを選びます。
リクエスト例
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'レスポンス例
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}まず同期処理、負荷に応じてジョブを利用
1ページを同期で取得するか、公開URLを1から100件まで有料の非同期Scrapeジョブに送信します。Technology Detectionにも製品固有の一括処理とジョブ経路があります。
同期一括非同期RESTMCPSDKインタラクティブツール
範囲を限定した公開ページ収集
収集にはリダイレクト、レスポンスサイズ、同時実行数、処理モードの上限があります。すべてのページにアクセスできるとは限りません。
1ページから始め、必要なコンテキストだけを追加する
5つのWebデータ製品を確認するか、ドキュメントから最初のScrapeリクエストを作成します。