Начните с живой формы
Введите домен, URL, IP, email или запись и получите сфокусированный результат без настройки.
Все инструменты
Веб-данные
Аналитика доменов
DNS и инфраструктура
Безопасность и доверие
Идентичность и верификация
Мониторинг и автоматизация
Проверка Robots.txt
Узнайте, могут ли краулеры посещать ваши URL. Проверяйте до 100 URL сразу для нескольких user agent по актуальному robots.txt сайта или по черновику, который вы вставляете перед публикацией.
Метка
Интерактивный инструмент аналитики
Запустите проверку, затем превратите её в рабочий процесс
Используйте браузерный инструмент для быстрого ответа, а затем перенесите ту же логику в скрипты, мониторинг или продуктовые потоки, когда она станет повторяемой.
Оцените сигналы для решения
Вывод показывает статусы, риски, записи и следующие действия вместо сырого шума провайдеров.
Автоматизируйте рабочий процесс, который работает
Используйте примеры запроса и ответа, чтобы превратить разовую проверку в вызов API или рецепт.
Используется сотрудниками этих компаний
Что помогает решить этот инструмент
Каждая страница построена вокруг практического операционного вопроса, а не просто сырого lookup.
Смотрите текущие данные DNS, регистрации, безопасности, цен или репутации.
Сравните результат со связанными проверками, чтобы увереннее выбрать следующий шаг.
Копируйте примеры, открывайте связанные инструменты или переходите к документации API для масштабирования.
Сигналы доверия перед интеграцией
Прозрачная документация, аутентифицированные запросы и видимые сведения о надежности помогают оценить DomScan перед запуском.
Статус сервиса
API-артефакты
OpenAPI, Swagger, Postman, CLI, SDK и ссылки MCP доступны в один клик.
API-ключи
Защищенный доступ
Аутентифицированные эндпоинты используют API-ключи с понятной стоимостью в кредитах до вызова.
Бесплатный лимит
Зарегистрируйтесь бесплатно
Начните с 10 000 кредитов в месяц и обновляйтесь только при росте использования.
Активен
Пример запроса
Начните с примеров curl и HTTP, затем перенесите параметры в код приложения.
Ключевые возможности
Проверка черновика до публикации
Вставьте robots.txt и посмотрите, как он обрабатывает ваши URL, ничего не меняя на сайте.
Много URL, много краулеров
До 100 URL и 10 user agent за одну проверку с вердиктом для каждой комбинации.
Решающее правило
Каждый вердикт показывает подходящее правило Allow или Disallow и номер его строки согласно официальному стандарту robots.txt.
Пример запроса
{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}Построено на том же API
Браузерный опыт предварительно показывает структурированные endpoints DomScan, чтобы команды проверили сценарий до написания кода.
Часто задаваемые вопросы
Можно ли проверить robots.txt до его публикации?
Да. Вставьте содержимое в поле robots.txt, и с вашего сайта ничего загружаться не будет. Оставьте поле пустым, чтобы проверить файл, который опубликован сейчас.
Можно ли вставить полную строку user agent?
Да. Полная строка, например та, что отправляет Googlebot, сокращается до имени краулера, именно по нему сопоставляются правила robots.txt.
Что означает «неизвестно»?
Актуальный robots.txt не удалось прочитать, например, потому что сайт заблокировал запрос или истекло время ожидания. Статус «неизвестно» никогда не считается разрешением, а стоимость проверки возвращается.