Веб-данные

API проверки Robots.txt

Отправьте список URL и user agent и получите вердикт для каждой комбинации. Проверяйте актуальный robots.txt сайта или вставленный вами черновик, смотрите, какое правило Allow или Disallow принимает решение и на какой оно строке, и находите синтаксические ошибки раньше краулеров.

Просмотреть документацию Попробовать бесплатный инструмент Изучить все API

Конечные точки Активен

POST /v1/robots/test

Пример запроса

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Пример ответа 200 OK

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reas
...

Пример запроса POST /v1/robots/test

Ключевые возможности 4

Часто задаваемые вопросы 4

Коды состояния HTTP 200 / 400 / 401 / 402 / 409 / 422 / 429

Category Веб-данные

Конечные точки 1

Ключевые возможности 4

Часто задаваемые вопросы 4

Используется сотрудниками этих компаний

Сигналы доверия перед интеграцией

Прозрачная документация, аутентифицированные запросы и видимые сведения о надежности помогают оценить DomScan перед запуском.

Работает Статус сервиса

Перед интеграцией проверьте состояние сервиса в реальном времени и документированные ответы при сбоях.

OpenAPI API-артефакты

OpenAPI, Swagger, Postman, CLI, SDK и ссылки MCP доступны в один клик.

API-ключи Защищенный доступ

Аутентифицированные эндпоинты используют API-ключи с понятной стоимостью в кредитах до вызова.

10,000 Бесплатный лимит

Начните с 10 000 кредитов в месяц и обновляйтесь только при росте использования.

Что помогает запустить эта API

Используйте эту страницу как производственный бриф: конечные точки, примеры, форма ответа и элементы workflow для подключения DomScan к вашему продукту.

Продуктовые workflow

Встраивайте проверки доменов, DNS-интеллект, сигналы риска или обогащение в онбординг, поиск и внутренние инструменты.

Автоматизация аналитиков

Заменяйте повторяющиеся ручные проверки расписаниями, оповещениями и воспроизводимыми шагами расследования.

Чистые JSON-данные

Используйте предсказуемые поля, документированные коды состояния и стоимость в кредитах вместо scraping страниц провайдеров.

AI и ops-инструменты

Передавайте данные агентам, дашбордам, SOAR-плейбукам и CRM через OpenAPI, SDK, Postman или MCP.

Интеграционный workflow

Простой путь от первого запроса до повторяемого использования в продакшене.

Аутентифицируйтесь один раз

Передавайте API-ключ в документированном заголовке и сохраняйте единый формат запросов между сервисами.

Запрашивайте по примерам

Начните с примеров curl и HTTP, затем перенесите параметры в код приложения.

Эксплуатируйте и мониторьте

Используйте коды состояния, стоимость кредитов и поля ответа для retries, логов и alerts.

Набор разработчика

Переходите к машиночитаемой документации, коллекциям запросов, SDK или инструментам для агентов.

Схема OpenAPI

Генерируйте клиенты или изучайте форму каждого запроса и ответа.

Коллекция Postman

Импортируйте готовые запросы для ручного тестирования и передачи команде.

SDK и CLI

Используйте поддерживаемые пакеты и командную строку вместо написания boilerplate.

Интеграция MCP

Открывайте доменную разведку AI-агентам и внутренним ассистентам.

Карта параметров и ответа

Просмотрите входы, поля ответа и коды состояния перед подключением endpoint к клиенту.

Параметры запроса

Параметр

robots_txturlurlsuser_agents

Поля ответа

Пример ответа

sourcestatussummarysummary.testssummary.allowedsummary.disallowedsummary.unknownresultsissues

Покрытие статусов

Коды состояния HTTP

200400401402409422429

Конечные точки

POST /v1/robots/test

Кредиты: 1Аутентификация: Требуется аутентификация

Сигналы доверия перед интеграцией

Статус сервиса API-артефакты

OpenAPI, Swagger, Postman, CLI, SDK и ссылки MCP доступны в один клик.

API-ключи Защищенный доступ

Аутентифицированные эндпоинты используют API-ключи с понятной стоимостью в кредитах до вызова.

Бесплатный лимит Зарегистрируйтесь бесплатно

Начните с 10 000 кредитов в месяц и обновляйтесь только при росте использования.

Активен Пример запроса

Начните с примеров curl и HTTP, затем перенесите параметры в код приложения.

Ключевые возможности

Вставленный или актуальный файл

Передайте robots_txt, чтобы проверить черновик без загрузки чего-либо, или передайте url, чтобы проверить файл, опубликованный на сайте.

Массовые вердикты

До 100 URL и 10 user agent в одном запросе, с итогами по каждому краулеру и строкой для каждой комбинации.

Стандартное сопоставление

Правила сопоставляются так, как описывает официальный стандарт robots.txt (RFC 9309): побеждает самое длинное совпадение, при равенстве побеждает Allow, поддерживаются подстановочные знаки * и $.

Проверка синтаксиса

Опечатки, правила вне группы, недопустимые строки и другие проблемы перечисляются с номерами строк.

Пример запроса

POST /v1/robots/test bash

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Пример ответа

200 OK json

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reason": "matched_disallow",
      "matched_rule": { "type": "disallow", "path": "/admin/", "line": 5 }
    }
  ],
  "issues": [{ "code": "directive_typo", "count": 1, "lines": [9] }]
}

Часто задаваемые вопросы

Чем это отличается от Robots.txt API?

Robots.txt API читает актуальный файл сайта и проверяет один краулер и один путь. Проверка же обрабатывает множество URL и краулеров в одном запросе и умеет проверять вставленный вами robots.txt.

По какому user agent выполняется сопоставление?

По имени краулера без учета регистра. Полная строка в стиле браузера, например у Googlebot, сначала сокращается до имени краулера, а в ответе указывается использованное имя.

Что происходит с URL на другом хосте?

Если используется актуальный файл, URL на хосте, отличном от хоста сайта, помечается как other_host без вердикта, поскольку у каждого хоста свой robots.txt.

Сколько это стоит?

1 кредит за запрос, до 1000 вердиктов. Если актуальный robots.txt не удается прочитать, вердикты получают статус «неизвестно», а кредит возвращается.

Связанные инструменты и ресурсы

Коды состояния HTTP

Это HTTP-коды состояния, которые нужно обрабатывать, чтобы различать успешные ответы, проблемы аутентификации, кредиты, лимиты запросов, отсутствующие данные и ошибки вышестоящих сервисов.

OK 200

Запрос выполнен успешно

Неверный запрос 400

Недопустимые параметры

Не авторизован 401

API-ключ или сессия отсутствует либо недействительна.

Требуется оплата 402

Недостаточно кредитов для выполнения этого запроса.

HTTP 409 409

HTTP 422 422

Слишком много запросов 429

Лимит скорости превышен

Проверить robots.txt

Начать бесплатно Просмотреть документацию Попробовать бесплатный инструмент