ライブ
サービスステータス
統合前に、現在のサービス稼働状況と文書化されたエラー応答を確認してください。
ウェブデータ
robots.txt API
1回のリクエストで、任意のウェブサイトのrobots.txtを取得して解析します。クローラーのグループ、ルール、宣言されたサイトマップ、user-agentとパスに対する許可または拒否の判定、主要なAIクローラーのルートアクセスを取得できます。
カテゴリ
ウェブデータ
エンドポイント
1
主な機能
4
よくある質問
4
これらの企業の担当者に使われています
統合前に確認できる信頼シグナル
透明なドキュメント、認証済みリクエスト、見える信頼性情報により、本番投入前に DomScan を評価しやすくなります。
OpenAPI
API アーティファクト
OpenAPI、Swagger、Postman、CLI、SDK、MCP のリンクにすぐアクセスできます。
API キー
保護されたアクセス
認証付きエンドポイントは API キーを使用し、呼び出し前に明確なクレジットコストを示します。
10,000
無料枠
毎月 10,000 クレジットから始め、利用が増えたときだけアップグレードできます。
この API で実装できること
このページを本番導入向けの概要として使えます。エンドポイント、例、レスポンス形状、DomScan を製品に組み込むためのワークフローをまとめています。
ドメイン確認、DNS インテリジェンス、リスクシグナル、エンリッチメントをオンボーディング、検索、社内ツールに組み込めます。
繰り返しの手動検索を、スケジュールジョブ、アラート、再現可能な調査手順に置き換えます。
提供元ページをスクレイピングせず、予測可能なフィールド、文書化済みステータスコード、クレジットコストを使えます。
OpenAPI、SDK、Postman、MCP を通じて、エージェント、ダッシュボード、SOAR プレイブック、CRM に接続できます。
統合ワークフロー
最初のリクエストから本番で繰り返し使える状態までのシンプルな流れです。
一度認証する
文書化されたヘッダーで API キーを送信し、サービス間で一貫したリクエストを保ちます。
例から問い合わせる
curl と HTTP サンプルから始め、パラメータをアプリケーションコードに対応付けます。
運用と監視
ステータスコード、クレジットコスト、レスポンスフィールドを使ってリトライ、ログ、アラートを構築します。
開発者キット
機械可読なドキュメント、リクエスト集、SDK、エージェント用ツールへすぐ移動できます。
パラメータとレスポンスのマップ
クライアントに接続する前に、入力、出力フィールド、ステータスコードを確認できます。
パラメータ
urldomainuser_agentpathskip_cache
レスポンス例
statussitemapstesttest.user_agenttest.pathtest.allowedtest.matched_ruletest.matched_rule.typetest.matched_rule.pathtest.matched_rule.lineai_crawlers
HTTP ステータスコード
200400401402429502
エンドポイント
GET
/v1/robots
統合前に確認できる信頼シグナル
透明なドキュメント、認証済みリクエスト、見える信頼性情報により、本番投入前に DomScan を評価しやすくなります。
サービスステータス
API アーティファクト
OpenAPI、Swagger、Postman、CLI、SDK、MCP のリンクにすぐアクセスできます。
API キー
保護されたアクセス
認証付きエンドポイントは API キーを使用し、呼び出し前に明確なクレジットコストを示します。
無料枠
無料でサインアップ
毎月 10,000 クレジットから始め、利用が増えたときだけアップグレードできます。
アクティブ
リクエスト例
curl と HTTP サンプルから始め、パラメータをアプリケーションコードに対応付けます。
主な機能
標準に沿った照合
ルールはRFC 9309に従って照合します。最も具体的なuser-agentグループ、最長のパス一致、同一長の場合はallow優先で、*と$にも対応します。
AIクローラーへの対応
GPTBotやClaudeBot、PerplexityBotなど主要なAIクローラーがサイトのルートにアクセスできるかどうかを、運営元と目的とともに返します。
パスのテスト
user-agentとパスを渡すと、判定結果と、その判定を決めたルール、ルールが属するグループを取得できます。
明確な失敗状態
ブロック、レート制限、取得失敗は不明として返されて返金されるため、回答がないことが許可と報告されることはありません。
リクエスト例
curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"レスポンス例
{
"status": "found",
"sitemaps": ["https://example.com/sitemap.xml"],
"test": {
"user_agent": "GPTBot",
"path": "/blog/",
"allowed": false,
"matched_rule": { "type": "disallow", "path": "/", "line": 2 }
},
"ai_crawlers": [
{ "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
{ "bot": "ClaudeBot", "owner": "anthropic", "root_access": "allowed", "group": "wildcard" }
]
}よくある質問
robots.txtがない場合はどう報告されますか？
404または410の応答はnot_foundを返します。RFC 9309では、クローラーがすべてにアクセスできることを意味します。401、403、429、5xxの応答はunknownを返します。
どのAIクローラーが含まれますか？
OpenAI、Anthropic、Google、Perplexity、Common Crawl、ByteDance、Apple、Meta、Amazonの14のエージェントを、学習用、検索用、ユーザー起点の取得に分類しています。
結果はキャッシュされますか？
確定した結果は15分間キャッシュされます。skip_cache=1を追加すると、ファイルを再取得します。パスのテストは常にリクエストごとに計算されます。
クレジットはいくら必要ですか？
1リクエストにつき1クレジットです。不明の状態で終わったリクエストは返金されます。
関連ツールとリソース
HTTP ステータスコード
正常な応答、認証の問題、クレジット不足、レート制限、データ未検出、上流サービス障害を判別できるよう、クライアントで処理すべきHTTPステータスコードを明記しています。
成功
200
リクエスト成功
不正なリクエスト
400
無効なパラメータ
未認証
401
APIキーまたはセッションが不足しているか無効です。
支払いが必要
402
このリクエストを実行するためのクレジットが不足しています。
リクエスト過多
429
レート制限を超過
不正なゲートウェイ
502
上流 RDAP エラー