Веб-данные

API robots.txt

Получайте и разбирайте robots.txt любого сайта одним запросом. Вы получите группы краулеров, правила, объявленные sitemap, вердикт allow или disallow для user-agent и пути, а также доступ к корню для основных ИИ-краулеров.

Просмотреть документацию Попробовать бесплатный инструмент Изучить все API

Конечные точки Активен

GET /v1/robots

Пример запроса

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Пример ответа 200 OK

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "Cla
...

Пример запроса GET /v1/robots

Ключевые возможности 4

Часто задаваемые вопросы 4

Коды состояния HTTP 200 / 400 / 401 / 402 / 429 / 502

Category Веб-данные

Конечные точки 1

Ключевые возможности 4

Часто задаваемые вопросы 4

Используется сотрудниками этих компаний

Сигналы доверия перед интеграцией

Прозрачная документация, аутентифицированные запросы и видимые сведения о надежности помогают оценить DomScan перед запуском.

Работает Статус сервиса

Перед интеграцией проверьте состояние сервиса в реальном времени и документированные ответы при сбоях.

OpenAPI API-артефакты

OpenAPI, Swagger, Postman, CLI, SDK и ссылки MCP доступны в один клик.

API-ключи Защищенный доступ

Аутентифицированные эндпоинты используют API-ключи с понятной стоимостью в кредитах до вызова.

10,000 Бесплатный лимит

Начните с 10 000 кредитов в месяц и обновляйтесь только при росте использования.

Что помогает запустить эта API

Используйте эту страницу как производственный бриф: конечные точки, примеры, форма ответа и элементы workflow для подключения DomScan к вашему продукту.

Продуктовые workflow

Встраивайте проверки доменов, DNS-интеллект, сигналы риска или обогащение в онбординг, поиск и внутренние инструменты.

Автоматизация аналитиков

Заменяйте повторяющиеся ручные проверки расписаниями, оповещениями и воспроизводимыми шагами расследования.

Чистые JSON-данные

Используйте предсказуемые поля, документированные коды состояния и стоимость в кредитах вместо scraping страниц провайдеров.

AI и ops-инструменты

Передавайте данные агентам, дашбордам, SOAR-плейбукам и CRM через OpenAPI, SDK, Postman или MCP.

Интеграционный workflow

Простой путь от первого запроса до повторяемого использования в продакшене.

Аутентифицируйтесь один раз

Передавайте API-ключ в документированном заголовке и сохраняйте единый формат запросов между сервисами.

Запрашивайте по примерам

Начните с примеров curl и HTTP, затем перенесите параметры в код приложения.

Эксплуатируйте и мониторьте

Используйте коды состояния, стоимость кредитов и поля ответа для retries, логов и alerts.

Набор разработчика

Переходите к машиночитаемой документации, коллекциям запросов, SDK или инструментам для агентов.

Схема OpenAPI

Генерируйте клиенты или изучайте форму каждого запроса и ответа.

Коллекция Postman

Импортируйте готовые запросы для ручного тестирования и передачи команде.

SDK и CLI

Используйте поддерживаемые пакеты и командную строку вместо написания boilerplate.

Интеграция MCP

Открывайте доменную разведку AI-агентам и внутренним ассистентам.

Карта параметров и ответа

Просмотрите входы, поля ответа и коды состояния перед подключением endpoint к клиенту.

Параметры запроса

Параметр

urldomainuser_agentpathskip_cache

Поля ответа

Пример ответа

statussitemapstesttest.user_agenttest.pathtest.allowedtest.matched_ruletest.matched_rule.typetest.matched_rule.pathtest.matched_rule.lineai_crawlers

Покрытие статусов

Коды состояния HTTP

200400401402429502

Конечные точки

GET /v1/robots

Кредиты: 1Аутентификация: Требуется аутентификация

Сигналы доверия перед интеграцией

Статус сервиса API-артефакты

OpenAPI, Swagger, Postman, CLI, SDK и ссылки MCP доступны в один клик.

API-ключи Защищенный доступ

Аутентифицированные эндпоинты используют API-ключи с понятной стоимостью в кредитах до вызова.

Бесплатный лимит Зарегистрируйтесь бесплатно

Начните с 10 000 кредитов в месяц и обновляйтесь только при росте использования.

Активен Пример запроса

Начните с примеров curl и HTTP, затем перенесите параметры в код приложения.

Ключевые возможности

Стандартное сопоставление

Правила сопоставляются по RFC 9309: самая точная группа user-agent, самое длинное совпадение пути, allow при равенстве и поддержка * и $.

Охват ИИ-краулеров

Доступ к корню сайта для основных ИИ-краулеров, таких как GPTBot, ClaudeBot и PerplexityBot, с указанием владельца и назначения.

Проверка пути

Передайте user-agent и путь, чтобы получить вердикт, решающее правило и группу, из которой оно взято.

Понятные состояния сбоя

Заблокированные, ограниченные по частоте и неудачные запросы возвращают «неизвестно» и возмещаются, поэтому отсутствие ответа никогда не выдаётся за разрешение.

Пример запроса

GET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/ bash

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Пример ответа

200 OK json

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "ClaudeBot", "owner": "anthropic", "root_access": "allowed", "group": "wildcard" }
  ]
}

Часто задаваемые вопросы

Как сообщается об отсутствии robots.txt?

Ответ 404 или 410 возвращает not_found, что по RFC 9309 означает, что краулеры могут обращаться ко всему. Ответы 401, 403, 429 и 5xx возвращают unknown.

Какие ИИ-краулеры включены?

14 агентов от OpenAI, Anthropic, Google, Perplexity, Common Crawl, ByteDance, Apple, Meta и Amazon, сгруппированных по обучению, поиску и запросам пользователей.

Кэшируется ли результат?

Окончательные результаты кэшируются на 15 минут. Добавьте skip_cache=1, чтобы получить файл заново. Проверка пути всегда вычисляется для вашего запроса.

Сколько кредитов это стоит?

Один кредит за запрос. Запросы, завершившиеся состоянием «неизвестно», возмещаются.

Связанные инструменты и ресурсы

Коды состояния HTTP

Это HTTP-коды состояния, которые нужно обрабатывать, чтобы различать успешные ответы, проблемы аутентификации, кредиты, лимиты запросов, отсутствующие данные и ошибки вышестоящих сервисов.

OK 200

Запрос выполнен успешно

Неверный запрос 400

Недопустимые параметры

Не авторизован 401

API-ключ или сессия отсутствует либо недействительна.

Требуется оплата 402

Недостаточно кредитов для выполнения этого запроса.

Слишком много запросов 429

Лимит скорости превышен

Ошибка шлюза 502

Ошибка RDAP внешнего сервера

Проверить robots.txt

Начать бесплатно Просмотреть документацию Попробовать бесплатный инструмент