Начните с живой формы
Введите домен, URL, IP, email или запись и получите сфокусированный результат без настройки.
Все инструменты
Веб-данные
Аналитика доменов
DNS и инфраструктура
Безопасность и доверие
Идентичность и верификация
Мониторинг и автоматизация
Проверка robots.txt
Введите адрес сайта, чтобы прочитать его robots.txt, проверить, может ли краулер загрузить путь, и увидеть, как обрабатываются GPTBot, ClaudeBot, PerplexityBot и другие ИИ-краулеры.
Метка
Интерактивный инструмент аналитики
Запустите проверку, затем превратите её в рабочий процесс
Используйте браузерный инструмент для быстрого ответа, а затем перенесите ту же логику в скрипты, мониторинг или продуктовые потоки, когда она станет повторяемой.
Оцените сигналы для решения
Вывод показывает статусы, риски, записи и следующие действия вместо сырого шума провайдеров.
Автоматизируйте рабочий процесс, который работает
Используйте примеры запроса и ответа, чтобы превратить разовую проверку в вызов API или рецепт.
Используется сотрудниками этих компаний
Что помогает решить этот инструмент
Каждая страница построена вокруг практического операционного вопроса, а не просто сырого lookup.
Смотрите текущие данные DNS, регистрации, безопасности, цен или репутации.
Сравните результат со связанными проверками, чтобы увереннее выбрать следующий шаг.
Копируйте примеры, открывайте связанные инструменты или переходите к документации API для масштабирования.
Сигналы доверия перед интеграцией
Прозрачная документация, аутентифицированные запросы и видимые сведения о надежности помогают оценить DomScan перед запуском.
Статус сервиса
API-артефакты
OpenAPI, Swagger, Postman, CLI, SDK и ссылки MCP доступны в один клик.
API-ключи
Защищенный доступ
Аутентифицированные эндпоинты используют API-ключи с понятной стоимостью в кредитах до вызова.
Бесплатный лимит
Зарегистрируйтесь бесплатно
Начните с 10 000 кредитов в месяц и обновляйтесь только при росте использования.
Активен
Пример запроса
Начните с примеров curl и HTTP, затем перенесите параметры в код приложения.
Ключевые возможности
Разбор по RFC 9309
Группы, правила allow и disallow, подстановочные знаки и якоря конца строки сопоставляются так, как описано в стандарте, при этом побеждает самое длинное правило.
Матрица ИИ-краулеров
Доступ к корню для 14 ИИ-краулеров, включая агентов для обучения, поиска и запросов пользователей от OpenAI, Anthropic, Google, Perplexity и других.
Честные состояния «неизвестно»
Если файл не удалось получить из-за блокировки, тайм-аута или ошибки сервера, результат будет «неизвестно», а не молчаливое разрешение.
Пример запроса
GET /v1/robots?url=example.comGET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/Построено на том же API
Браузерный опыт предварительно показывает структурированные endpoints DomScan, чтобы команды проверили сценарий до написания кода.
Часто задаваемые вопросы
Что происходит, если у сайта нет robots.txt?
Ответ 404 или 410 означает отсутствие ограничений на обход, поэтому разрешены все пути. Проверка сообщает об этом как «не найдено».
Как заблокировать ИИ-краулеры?
Добавьте группу user-agent для каждого краулера, например GPTBot или ClaudeBot, с правилом Disallow. Таблица ИИ-краулеров показывает, каких ботов уже охватывают ваши текущие правила.
Останавливает ли robots.txt всех ботов?
Нет. Robots.txt это просьба, которую выполняют добросовестные краулеры. Он не контролирует доступ, поэтому для закрытого контента нужна аутентификация.