開発者、データチーム、調査担当者、エージェント開発者向け
範囲を限定したページ収集、コンテンツ抽出、調査入力、公開ページのコンテキストに使います。
データ収集のソリューション
アプリケーションが使える形で公開Webページを収集する
十分な最小限の収集モードを選び、遷移先の証拠を保持し、ワークフローが必要とするときだけ結果を補足します。
収集コンテキスト付きの使えるページコンテンツ
対応する各リクエストについて、HTML、テキスト、Markdownと最終遷移先、処理の証拠を受け取ります。
URLだけでは信頼できるコンテンツ記録にならない
ページはリダイレクト、JavaScript要求、応答サイズ超過、必要なコンテキストの一部だけを示す場合があります。
収集には上限があり、アクセスは保証されない
DomScanは認証、ペイウォール、アクセス制御、対象の制限を回避せず、すべての公開URLを収集できるとは約束しません。
ワークフロー
対応する各リクエストについて、HTML、テキスト、Markdownと最終遷移先、処理の証拠を受け取ります。
対象URLを調べて正規化する
収集前に遷移先やURLリスクを確認する必要があるときは、URL IntelligenceまたはRedirectsを使います。
十分な最小モードで収集する
standard Scrapeから始め、有用な場合だけ堅牢な再試行を選び、JavaScript依存コンテンツにのみレンダリングを使います。
判断が変わる場合に構造化コンテキストを加える
後続タスクが必要とするとき、収集後にWebsite CategorizationまたはTechnology Detectionを要求します。
公開記事をMarkdownで収集する
記事URLをstandardモードで送信し、最終URLを保持して、アプリケーションが使う場合だけカテゴリ証拠を加えます。
リクエスト例
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'レスポンス例
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}このワークフローの製品
対応する各リクエストについて、HTML、テキスト、Markdownと最終遷移先、処理の証拠を受け取ります。
ウェブスクレイピング
公開ウェブページをHTML、Markdown、またはテキストとして取得します。同期と非同期のオプションに対応しています。
この製品を選ぶ場面: 公開ウェブページをHTML、Markdown、またはテキストとして取得します。同期と非同期のオプションに対応しています。
- 入力
- URL
- 結果
- 収集
- クレジット
- 0-20
同期非同期RESTMCPSDK
統合 URL インテリジェンス
URL から、正規化したページメタデータ、プレビュー項目、構造化データ、公開アイデンティティシグナルを抽出します。
この製品を選ぶ場面: URL から、正規化したページメタデータ、プレビュー項目、構造化データ、公開アイデンティティシグナルを抽出します。
- 入力
- URL
- 結果
- 収集, 拡充
- クレジット
- 2
同期一括RESTMCPSDK
ウェブサイトカテゴリ化
業界、コンテンツタイプ、トピックごとにウェブサイトを分類します。
この製品を選ぶ場面: 業界、コンテンツタイプ、トピックごとにウェブサイトを分類します。
- 入力
- URL, ドメイン
- 結果
- 拡充, 評価
- クレジット
- 0-3
同期一括RESTMCPSDKインタラクティブツール
非同期 API バッチ
対応する多数の API リクエストをキューに追加し、クライアント接続を開いたままにせず結果を取得できます。
この製品を選ぶ場面: 対応する多数の API リクエストをキューに追加し、クライアント接続を開いたままにせず結果を取得できます。
- 入力
- ドメイン, URL, メールアドレス
- 結果
- 自動化
- クレジット
- 0
非同期RESTMCPSDK
このワークフローを選ぶ場面
このワークフローを選ぶ場面
遷移先、モード、処理コンテキストが明示された範囲限定の公開ページコンテンツが必要なとき。
適さない用途
アクセス制御の回避、無制限サイトクロール、すべての対象収集の保証には使わないでください。