開発者、調査担当者、エージェント開発者向け
製品やワークフローで最新の公開ページ証拠を構造化レスポンスとして必要とするときに、焦点化されたAPIを使います。
プロダクト、目的、エンドポイントパス、APIトピックを試してください。
Webデータ
URLから読みやすいコンテンツ、最終遷移先、表示された技術、カテゴリ、URLレベルのシグナルへ進みます。
製品やワークフローで最新の公開ページ証拠を構造化レスポンスとして必要とするときに、焦点化されたAPIを使います。
分析用にコンテンツを収集し、追跡前に遷移先を確認するか、既知のページに技術とカテゴリのコンテキストを加えます。
ページコンテンツにはScrapeを使います。判断が変わる場合だけRedirects、Technology Detection、Website Categorization、URL Intelligenceを追加します。
公開ウェブページやドキュメントを、HTML、Markdown、LLM向けテキスト、プレーンテキストとして取得します。1ページずつ、バッチ処理、サイト全体のクロールのいずれにも対応しています。
この製品を選ぶ場面: 公開ページ、PDF、スプレッドシートから、クリーンなHTML、テキスト、Markdownが必要なときに選びます。1ページからサイト全体まで対応し、レンダリングや非同期収集は対応していて必要な場合だけ使います。
URL の完全なリダイレクトチェーンをトレースします。
この製品を選ぶ場面: ページ本文よりも遷移先とリダイレクトチェーンが重要なときに選びます。
CMS、フレームワーク、サービスを含むウェブサイトで使用されているテクノロジースタックを検出します。
この製品を選ぶ場面: 露出したフレームワーク、プラットフォーム、分析ツール、インフラ技術の証拠が必要なときに選びます。
robots.txtを解析し、任意のクローラーとパスをテストして、ブロックされているAIクローラーを確認します。
この製品を選ぶ場面: サイトのrobots.txtを読み取り、クローラーが特定のパスを取得できるかをテストし、許可またはブロックされているAIクローラーを確認したいときに選びます。
XMLサイトマップを検出して監査し、URL数、lastmodの鮮度、プロトコル上の問題を確認します。
この製品を選ぶ場面: サイトのXMLサイトマップを検出し、固定されたファイル数の範囲内でURL数、lastmodの更新状況、プロトコル上の問題を確認したいときに選びます。
タイトル、メタタグ、見出し、リンク、画像、構造化データをSEOスコアで監査します。
この製品を選ぶ場面: メタタグや見出しから、リンク、画像、構造化データまで、1ページのオンページSEOを、JavaScriptレンダリングの有無を問わず監査したい場合にお選びください。
生のHTMLとレンダリング後のHTMLを比較し、JavaScriptに依存するSEOシグナルを確認します。
この製品を選ぶ場面: ページの生のHTMLとレンダリング後のHTMLを比較し、JavaScriptの実行後にのみ存在するSEOシグナルを確認したい場合にお選びください。
JSON-LD、Microdata、RDFaのschema.orgマークアップを抽出して検証します。
この製品を選ぶ場面: ページからJSON-LD、Microdata、RDFaを抽出し、よく使われるリッチリザルトのタイプに対するschema.orgのルールで確認したい場合にお選びください。
ページ上で出現頻度の高いキーワードとフレーズを、密度のパーセンテージ付きで調べます。
この製品を選ぶ場面: ページ上の単語とフレーズの出現頻度を測定し、ターゲットキーワードがどこに出現するかを確認したい場合にお選びください。
ページのリンクを一覧表示し、上限付きのステータスチェックでリンク切れを検出します。
この製品を選ぶ場面: ページ上のリンクを一覧表示してリンク切れを検出したい場合にお選びください。ブロックされたチェックは不明のまま扱われます。
hreflangコード、x-default、自己参照、相互リンクを検証します。
この製品を選ぶ場面: ページのhreflangタグを検証し、代替言語のページから相互にリンクされているかを確認したい場合にお選びください。
貼り付けた robots.txt または公開中の robots.txt に対して、多数の URL とクローラーをまとめてテストします。
この製品を選ぶ場面: 貼り付けた robots.txt または公開中の robots.txt に対して、多数の URL とクローラーを一度にテストしたい場合はこちらを選んでください。
ads.txtとapp-ads.txtのレコードを検証し、sellers.jsonと照合して販売者を確認します。
この製品を選ぶ場面: サイトのads.txtやapp-ads.txtを検証し、sellers.jsonと照合して承認済みの販売者を確認したい場合に選びます。
ページ間の重複コンテンツ、タイトル、メタディスクリプションを比較します。
この製品を選ぶ場面: 最大10ページを比較して、重複コンテンツと、繰り返されるタイトル、メタディスクリプション、H1を調べたい場合に選びます。
最大50ページをクロールして、リンク切れ、重複、オンページの問題を検出します。
この製品を選ぶ場面: サイトの最大50ページをクロールして、リンク切れ、重複、オンページSEOの問題を1つのレポートで確認したい場合に選びます。
デスクトップまたはモバイルで、任意のページを画像やPDFとして取得します。
この製品を選ぶ場面: デスクトップまたはモバイルで、ページをPNG、JPEG、WebP、PDFとして取得したい場合に選びます。
自動化されたWCAG監査で、違反、該当する要素、スコアを確認できます。
この製品を選ぶ場面: ページの自動化されたWCAG監査を実行し、影響度別の違反と該当する要素を確認したい場合に選びます。
同意前に確認されたCookie、トラッカー、同意管理ツールを一覧表示します。
この製品を選ぶ場面: 同意前にページが読み込むCookie、トラッカー、同意管理ツールを確認したい場合に選びます。
ページのバイト数、リクエスト、サードパーティ、読み込みタイミングを計測します。
この製品を選ぶ場面: ページのバイト数、リクエスト、サードパーティ、レンダリングをブロックするリソース、タイミングを計測したい場合に選びます。
業界、コンテンツタイプ、トピックごとにウェブサイトを分類します。
この製品を選ぶ場面: 振り分け、調査、レビューのために、広いコンテンツまたはビジネスカテゴリが必要なときに選びます。
URL から、正規化したページメタデータ、プレビュー項目、構造化データ、公開アイデンティティシグナルを抽出します。
この製品を選ぶ場面: 深い収集の前に、正規化されたURL構造とリスク指向のURLシグナルが必要なときに選びます。
URLを調べ、ページをMarkdownで収集し、エージェントのタスクに必要なカテゴリまたは技術の証拠を加えます。
URLを調べ、ページをMarkdownで収集し、エージェントのタスクに必要なカテゴリまたは技術の証拠を加えます。
代表的なページを収集し、最終遷移先を解決して、コンテンツをWebサイトカテゴリと露出技術のシグナルに結び付けます。
公開URLをMarkdown出力でPOST /v1/scrapeに送信します。まずstandardモードを使い、JavaScriptが必要な場合だけレンダリングを選びます。
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}
1ページを同期で取得するか、公開URLを1から100件まで有料の非同期Scrapeジョブに送信します。Technology Detectionにも製品固有の一括処理とジョブ経路があります。
収集にはリダイレクト、レスポンスサイズ、同時実行数、処理モードの上限があります。すべてのページにアクセスできるとは限りません。
5つのWebデータ製品を確認するか、ドキュメントから最初のScrapeリクエストを作成します。