すべてのツールウェブデータドメインインテリジェンス DNSとインフラストラクチャセキュリティと信頼性アイデンティティと検証モニタリングと自動化

robots.txt テスター

クローラーが URL にアクセスできるかどうかを確認します。サイトの公開中の robots.txt、または公開前に貼り付けた下書きを使って、最大100件の URL を複数のユーザーエージェントに対して一度にテストできます。

結果

インタラクティブなインテリジェンスツール

チェックを実行し、そのままワークフロー化

ブラウザツールで素早く答えを確認し、繰り返し使う段階になったら同じロジックをスクリプト、監視、プロダクトフローへ移せます。

ライブフォームから開始

ドメイン、URL、IP、メール、レコードを入力するだけで、設定なしに絞り込まれた結果を得られます。

判断しやすいシグナルを確認

生のプロバイダー情報ではなく、状態、リスク、レコード、次のアクションを見やすく表示します。

有効なワークフローを自動化

リクエストとレスポンス例を使って、単発チェックをAPI呼び出しやレシピに変換できます。

これらの企業の担当者に使われています

このツールで判断できること

各ページは単なる生データ検索ではなく、実務上の判断に必要な問いを中心に構成されています。

シグナル

DNS、登録、セキュリティ、価格、評判に関する現在の証拠を確認できます。

コンテキスト

関連チェックと比較して、次の判断をより信頼しやすくします。

アクション

例をコピーし、関連ツールを開き、規模が必要になったらAPIドキュメントへ進めます。

統合前に確認できる信頼シグナル

透明なドキュメント、認証済みリクエスト、見える信頼性情報により、本番投入前に DomScan を評価しやすくなります。

サービスステータス API アーティファクト

OpenAPI、Swagger、Postman、CLI、SDK、MCP のリンクにすぐアクセスできます。

API キー 保護されたアクセス

認証付きエンドポイントは API キーを使用し、呼び出し前に明確なクレジットコストを示します。

無料枠 無料でサインアップ

毎月 10,000 クレジットから始め、利用が増えたときだけアップグレードできます。

アクティブ リクエスト例

curl と HTTP サンプルから始め、パラメータをアプリケーションコードに対応付けます。

主な機能

公開前に下書きをテスト

robots.txt を貼り付けるだけで、サイトには何も変更を加えずに、URL がどのように扱われるかを確認できます。

多数の URL、多数のクローラー

最大100件の URL と10種類のユーザーエージェントを1回でチェックし、すべての組み合わせについて判定を表示します。

判定の決め手となるルール

各判定には、公式の robots.txt 標準に従って該当した Allow または Disallow ルールと、その行番号が表示されます。

リクエスト例

POST /v1/robots/test json

{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}

同じAPIを基盤に構築

ブラウザ体験はDomScanの構造化エンドポイントのプレビューであり、コードを書く前にユースケースを検証できます。

APIドキュメントを開くすべてのツール

よくある質問

公開前の robots.txt をテストできますか?

はい。robots.txt の入力欄に内容を貼り付ければ、サイトからは何も取得されません。空欄のままにすると、現在公開中のファイルをテストします。

完全なユーザーエージェント文字列を貼り付けられますか?

はい。Googlebot が送信するような完全な文字列は、robots.txt のルールが照合するクローラー名に自動的に絞り込まれます。

「不明」とはどういう意味ですか?

公開中の robots.txt を読み取れなかったことを意味します。たとえば、サイトがリクエストをブロックした場合やタイムアウトした場合です。「不明」が許可として扱われることはなく、このチェックのクレジットは返金されます。

サポート