ライブ
サービスステータス
統合前に、現在のサービス稼働状況と文書化されたエラー応答を確認してください。
ウェブデータ
robots.txt テスター API
URL とユーザーエージェントの一覧を送信すると、すべての組み合わせについて判定が返ります。サイトの公開中の robots.txt、または貼り付けた下書きをテストし、決め手となった Allow または Disallow ルールとその行番号を確認できます。クローラーより先に構文ミスにも気づけます。
カテゴリ
ウェブデータ
エンドポイント
1
主な機能
4
よくある質問
4
これらの企業の担当者に使われています
統合前に確認できる信頼シグナル
透明なドキュメント、認証済みリクエスト、見える信頼性情報により、本番投入前に DomScan を評価しやすくなります。
OpenAPI
API アーティファクト
OpenAPI、Swagger、Postman、CLI、SDK、MCP のリンクにすぐアクセスできます。
API キー
保護されたアクセス
認証付きエンドポイントは API キーを使用し、呼び出し前に明確なクレジットコストを示します。
10,000
無料枠
毎月 10,000 クレジットから始め、利用が増えたときだけアップグレードできます。
この API で実装できること
このページを本番導入向けの概要として使えます。エンドポイント、例、レスポンス形状、DomScan を製品に組み込むためのワークフローをまとめています。
ドメイン確認、DNS インテリジェンス、リスクシグナル、エンリッチメントをオンボーディング、検索、社内ツールに組み込めます。
繰り返しの手動検索を、スケジュールジョブ、アラート、再現可能な調査手順に置き換えます。
提供元ページをスクレイピングせず、予測可能なフィールド、文書化済みステータスコード、クレジットコストを使えます。
OpenAPI、SDK、Postman、MCP を通じて、エージェント、ダッシュボード、SOAR プレイブック、CRM に接続できます。
統合ワークフロー
最初のリクエストから本番で繰り返し使える状態までのシンプルな流れです。
一度認証する
文書化されたヘッダーで API キーを送信し、サービス間で一貫したリクエストを保ちます。
例から問い合わせる
curl と HTTP サンプルから始め、パラメータをアプリケーションコードに対応付けます。
運用と監視
ステータスコード、クレジットコスト、レスポンスフィールドを使ってリトライ、ログ、アラートを構築します。
開発者キット
機械可読なドキュメント、リクエスト集、SDK、エージェント用ツールへすぐ移動できます。
パラメータとレスポンスのマップ
クライアントに接続する前に、入力、出力フィールド、ステータスコードを確認できます。
パラメータ
robots_txturlurlsuser_agents
レスポンス例
sourcestatussummarysummary.testssummary.allowedsummary.disallowedsummary.unknownresultsissues
HTTP ステータスコード
200400401402409422429
エンドポイント
POST
/v1/robots/test
統合前に確認できる信頼シグナル
透明なドキュメント、認証済みリクエスト、見える信頼性情報により、本番投入前に DomScan を評価しやすくなります。
サービスステータス
API アーティファクト
OpenAPI、Swagger、Postman、CLI、SDK、MCP のリンクにすぐアクセスできます。
API キー
保護されたアクセス
認証付きエンドポイントは API キーを使用し、呼び出し前に明確なクレジットコストを示します。
無料枠
無料でサインアップ
毎月 10,000 クレジットから始め、利用が増えたときだけアップグレードできます。
アクティブ
リクエスト例
curl と HTTP サンプルから始め、パラメータをアプリケーションコードに対応付けます。
主な機能
貼り付けたファイルも公開中のファイルも対応
robots_txt を送信すると、何も取得せずに下書きをテストできます。url を送信すると、サイトで公開中のファイルをテストできます。
一括判定
1回のリクエストで最大100件の URL と10種類のユーザーエージェントを処理し、クローラーごとの集計と、すべての組み合わせの行を返します。
標準に沿った照合
ルールは公式の robots.txt 標準(RFC 9309)の定義どおりに照合されます。最長一致が優先され、同じ長さの場合は Allow が優先され、* と $ のワイルドカードにも対応しています。
構文チェック
タイプミス、グループ外のルール、無効な行などの問題を、行番号付きで一覧表示します。
リクエスト例
curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
-d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
"https://domscan.net/v1/robots/test"レスポンス例
{
"source": "fetched",
"status": "found",
"summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
"results": [
{
"url": "/blog/",
"user_agent": "Googlebot",
"allowed": true,
"reason": "no_matching_rule"
},
{
"url": "/admin/",
"user_agent": "Googlebot",
"allowed": false,
"reason": "matched_disallow",
"matched_rule": { "type": "disallow", "path": "/admin/", "line": 5 }
}
],
"issues": [{ "code": "directive_typo", "count": 1, "lines": [9] }]
}よくある質問
Robots.txt API とはどう違いますか?
Robots.txt API は、サイトの公開中のファイルを読み取り、1つのクローラーと1つのパスをテストします。テスターは、1回のリクエストで多数の URL とクローラーを確認でき、貼り付けた robots.txt のテストにも対応しています。
どのユーザーエージェントが照合されますか?
大文字と小文字を区別せず、クローラー名で照合されます。Googlebot のようなブラウザ形式の完全な文字列は、まずクローラー名に絞り込まれ、レスポンスには実際に使用された名前が表示されます。
別のホストの URL はどう扱われますか?
公開中のファイルを使う場合、サイトとは異なるホストの URL は、判定なしで other_host として報告されます。ホストごとに独自の robots.txt があるためです。
料金はいくらですか?
1リクエストにつき1クレジットで、最大1,000件の判定を含められます。公開中の robots.txt を読み取れなかった場合、判定は不明となり、クレジットは返金されます。
関連ツールとリソース
HTTP ステータスコード
正常な応答、認証の問題、クレジット不足、レート制限、データ未検出、上流サービス障害を判別できるよう、クライアントで処理すべきHTTPステータスコードを明記しています。
成功
200
リクエスト成功
不正なリクエスト
400
無効なパラメータ
未認証
401
APIキーまたはセッションが不足しているか無効です。
支払いが必要
402
このリクエストを実行するためのクレジットが不足しています。
HTTP 409
409
正常な応答、認証の問題、クレジット不足、レート制限、データ未検出、上流サービス障害を判別できるよう、クライアントで処理すべきHTTPステータスコードを明記しています。
HTTP 422
422
正常な応答、認証の問題、クレジット不足、レート制限、データ未検出、上流サービス障害を判別できるよう、クライアントで処理すべきHTTPステータスコードを明記しています。
リクエスト過多
429
レート制限を超過