Веб-данные

API проверки дублированного контента

Сравните от 2 до 10 страниц одним запросом. Получите оценку сходства для каждой пары страниц по основному контенту, группы почти дублей, а также повторяющиеся заголовки, мета-описания и H1.

Просмотреть документацию Попробовать бесплатный инструмент Изучить все API

Конечные точки Активен

GET /v1/duplicate-content

Пример запроса

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/duplicate-content?urls=example.com/a,example.com/b,example.com/c"

Пример ответа 200 OK

{
  "status": "ok",
  "pairs": [
    { "a": "https://example.com/a", "b": "https://example.com/b", "similarity": 0.91, "containment": 0.96, "near_duplicate": true, "canonicalized": false }
  ],
  "clusters": [["https://example.com/a", "https://example.com/b"]],
  "duplicates": {
    "titles": [{ "value": "trail running shoes", "urls": ["https://example.com/a
...

Пример запроса GET /v1/duplicate-content

Ключевые возможности 4

Часто задаваемые вопросы 4

Коды состояния HTTP 200 / 400 / 401 / 402 / 429

Category Веб-данные

Конечные точки 1

Ключевые возможности 4

Часто задаваемые вопросы 4

Используется сотрудниками этих компаний

Сигналы доверия перед интеграцией

Прозрачная документация, аутентифицированные запросы и видимые сведения о надежности помогают оценить DomScan перед запуском.

Работает Статус сервиса

Перед интеграцией проверьте состояние сервиса в реальном времени и документированные ответы при сбоях.

OpenAPI API-артефакты

OpenAPI, Swagger, Postman, CLI, SDK и ссылки MCP доступны в один клик.

API-ключи Защищенный доступ

Аутентифицированные эндпоинты используют API-ключи с понятной стоимостью в кредитах до вызова.

10,000 Бесплатный лимит

Начните с 10 000 кредитов в месяц и обновляйтесь только при росте использования.

Что помогает запустить эта API

Используйте эту страницу как производственный бриф: конечные точки, примеры, форма ответа и элементы workflow для подключения DomScan к вашему продукту.

Продуктовые workflow

Встраивайте проверки доменов, DNS-интеллект, сигналы риска или обогащение в онбординг, поиск и внутренние инструменты.

Автоматизация аналитиков

Заменяйте повторяющиеся ручные проверки расписаниями, оповещениями и воспроизводимыми шагами расследования.

Чистые JSON-данные

Используйте предсказуемые поля, документированные коды состояния и стоимость в кредитах вместо scraping страниц провайдеров.

AI и ops-инструменты

Передавайте данные агентам, дашбордам, SOAR-плейбукам и CRM через OpenAPI, SDK, Postman или MCP.

Интеграционный workflow

Простой путь от первого запроса до повторяемого использования в продакшене.

Аутентифицируйтесь один раз

Передавайте API-ключ в документированном заголовке и сохраняйте единый формат запросов между сервисами.

Запрашивайте по примерам

Начните с примеров curl и HTTP, затем перенесите параметры в код приложения.

Эксплуатируйте и мониторьте

Используйте коды состояния, стоимость кредитов и поля ответа для retries, логов и alerts.

Набор разработчика

Переходите к машиночитаемой документации, коллекциям запросов, SDK или инструментам для агентов.

Схема OpenAPI

Генерируйте клиенты или изучайте форму каждого запроса и ответа.

Коллекция Postman

Импортируйте готовые запросы для ручного тестирования и передачи команде.

SDK и CLI

Используйте поддерживаемые пакеты и командную строку вместо написания boilerplate.

Интеграция MCP

Открывайте доменную разведку AI-агентам и внутренним ассистентам.

Карта параметров и ответа

Просмотрите входы, поля ответа и коды состояния перед подключением endpoint к клиенту.

Параметры запроса

Параметр

urls

Поля ответа

Пример ответа

statuspairsclustersduplicatesduplicates.titlesduplicates.meta_descriptionsduplicates.h1

Покрытие статусов

Коды состояния HTTP

200400401402429

Конечные точки

GET /v1/duplicate-content

Кредиты: 5Аутентификация: Требуется аутентификация

Сигналы доверия перед интеграцией

Статус сервиса API-артефакты

OpenAPI, Swagger, Postman, CLI, SDK и ссылки MCP доступны в один клик.

API-ключи Защищенный доступ

Аутентифицированные эндпоинты используют API-ключи с понятной стоимостью в кредитах до вызова.

Бесплатный лимит Зарегистрируйтесь бесплатно

Начните с 10 000 кредитов в месяц и обновляйтесь только при росте использования.

Активен Пример запроса

Начните с примеров curl и HTTP, затем перенесите параметры в код приложения.

Ключевые возможности

Только основной контент

Перед сравнением удаляются шапки, навигация, подвалы, боковые панели и формы, поэтому общие шаблоны не завышают оценку.

Сходство и вхождение

Сходство измеряет пересечение двух страниц; вхождение показывает, какая часть более короткой страницы встречается в более длинной.

Учёт canonical

Пары, где одна страница уже указывает другую как canonical, помечаются, чтобы вы могли сосредоточиться на неустранённых дублях.

Дубли метаданных

Повторяющиеся заголовки, мета-описания и H1 группируются вместе с URL, которые их используют.

Пример запроса

GET /v1/duplicate-content?urls=example.com/a,example.com/b,example.com/c bash

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/duplicate-content?urls=example.com/a,example.com/b,example.com/c"

Пример ответа

200 OK json

{
  "status": "ok",
  "pairs": [
    { "a": "https://example.com/a", "b": "https://example.com/b", "similarity": 0.91, "containment": 0.96, "near_duplicate": true, "canonicalized": false }
  ],
  "clusters": [["https://example.com/a", "https://example.com/b"]],
  "duplicates": {
    "titles": [{ "value": "trail running shoes", "urls": ["https://example.com/a", "https://example.com/b"] }],
    "meta_descriptions": [],
    "h1": []
  }
}

Часто задаваемые вопросы

Когда две страницы считаются почти дублями?

Когда их сходство составляет 0,8 или выше. Страницы выше этого уровня обычно конкурируют между собой в поиске.

Как рассчитывается сходство?

Основной текст каждой страницы делится на перекрывающиеся последовательности из пяти слов, а оценка равна доле последовательностей, общих для двух страниц.

Что, если страницу не удаётся прочитать?

Она указывается в списке с причиной и исключается из всех сравнений. Если удаётся прочитать меньше двух страниц, результат имеет статус unknown, а кредиты возвращаются.

Сколько кредитов это стоит?

Пять кредитов за запрос при числе URL до 10.

Связанные инструменты и ресурсы

Коды состояния HTTP

Это HTTP-коды состояния, которые нужно обрабатывать, чтобы различать успешные ответы, проблемы аутентификации, кредиты, лимиты запросов, отсутствующие данные и ошибки вышестоящих сервисов.

OK 200

Запрос выполнен успешно

Неверный запрос 400

Недопустимые параметры

Не авторизован 401

API-ключ или сессия отсутствует либо недействительна.

Требуется оплата 402

Недостаточно кредитов для выполнения этого запроса.

Слишком много запросов 429

Лимит скорости превышен

Сравнить страницы

Начать бесплатно Просмотреть документацию Попробовать бесплатный инструмент