Данные Web

Собирайте общедоступный Web-контент с нужным контекстом

Переходите от URL к читаемому контенту, конечному адресу, видимым технологиям, категории и сигналам на уровне URL.

Для разработчиков, исследователей и создателей агентов

Используйте специализированные API, когда продукту или процессу нужны актуальные данные открытой страницы в структурированном ответе.

Начните с нужного результата

Собирайте контент для анализа, отслеживайте назначение до перехода или обогащайте известную страницу контекстом технологии и категории.

Входные данные

URLДомен

Результаты

СобиратьОцениватьНаходитьДополнятьПроверятьСравнивать

Выберите самый узкий продукт, отвечающий на вопрос

Используйте Scrape для контента страницы. Добавляйте Redirects, Technology Detection, Website Categorization или URL Intelligence только когда контекст меняет решение.

Веб-скрейпинг

Получайте общедоступные веб-страницы и документы в формате HTML, Markdown, текста для LLM или обычного текста: по одной странице, пакетами или обходом всего сайта.

Выбирайте, если: Выбирайте, если нужны чистые HTML, текст или Markdown из общедоступных страниц, PDF или электронных таблиц, от одной страницы до всего сайта, используя рендеринг или асинхронный сбор только при поддержке и необходимости.

Входные данные
URL
Результаты
Собирать
Кредиты
0-20
СинхронныйАсинхронныйRESTMCPSDK

Цепь перенаправлений

Отследите полную цепь перенаправлений для URL.

Выбирайте, если: Выбирайте, если назначение и цепочка перенаправлений важнее содержимого страницы.

Входные данные
URL, Домен
Результаты
Собирать, Оценивать
Кредиты
2
СинхронныйRESTMCPSDKИнтерактивный инструмент

Определение технологического стека

Определяйте технологический стек, используемый веб-сайтом, включая CMS, фреймворки и сервисы.

Выбирайте, если: Выбирайте, если нужны данные об открытых фреймворках, платформах, аналитике или технологиях инфраструктуры.

Входные данные
URL, Домен
Результаты
Находить, Дополнять, Оценивать
Кредиты
0-9
СинхронныйПакетныйАсинхронныйRESTMCPSDKИнтерактивный инструмент

API robots.txt

Разбор robots.txt, проверка любого краулера и пути, список заблокированных ИИ-краулеров.

Выбирайте, если: Выбирайте, чтобы прочитать robots.txt сайта, проверить, может ли краулер загрузить путь, и посмотреть, каким ИИ-краулерам доступ разрешён или заблокирован.

Входные данные
URL, Домен
Результаты
Проверять, Оценивать
Кредиты
1
СинхронныйRESTMCPSDKИнтерактивный инструмент

API аудита XML sitemap

Поиск и аудит XML sitemap: количество URL, актуальность lastmod и нарушения протокола.

Выбирайте, если: Выбирайте, чтобы найти XML sitemap сайта и проверить количество URL, актуальность lastmod и нарушения протокола в рамках фиксированного лимита файлов.

Входные данные
URL, Домен
Результаты
Находить, Проверять, Оценивать
Кредиты
2
СинхронныйRESTMCPSDKИнтерактивный инструмент

API аудита on-page SEO

Аудит заголовков, мета-тегов, заголовков H1-H6, ссылок, изображений и структурированных данных с SEO-оценкой.

Выбирайте, если: Выберите это, чтобы проверить одну страницу на соответствие on-page SEO: от мета-тегов и заголовков до ссылок, изображений и структурированных данных, с отрисовкой JavaScript или без неё.

Входные данные
URL, Домен
Результаты
Проверять, Оценивать
Кредиты
2-6
СинхронныйRESTMCPSDKИнтерактивный инструмент

API проверки отрисовки JavaScript SEO

Сравнение исходного и отрисованного HTML: какие SEO-сигналы зависят от JavaScript.

Выбирайте, если: Выберите это, чтобы узнать, какие SEO-сигналы страницы существуют только после выполнения JavaScript, сравнив её исходный и отрисованный HTML.

Входные данные
URL, Домен
Результаты
Сравнивать, Оценивать
Кредиты
7
СинхронныйRESTMCPSDKИнтерактивный инструмент

API проверки структурированных данных

Извлечение и проверка разметки schema.org в форматах JSON-LD, Microdata и RDFa.

Выбирайте, если: Выберите это, чтобы извлечь JSON-LD, Microdata и RDFa со страницы и проверить их по правилам schema.org для распространённых типов расширенных результатов.

Входные данные
URL, Домен
Результаты
Проверять, Оценивать
Кредиты
2-6
СинхронныйRESTMCPSDKИнтерактивный инструмент

API плотности ключевых слов

Поиск самых частых ключевых слов и фраз на странице с процентной плотностью.

Выбирайте, если: Выберите это, чтобы измерить частоту слов и фраз на странице и проверить, где встречаются целевые ключевые слова.

Входные данные
URL, Домен
Результаты
Оценивать
Кредиты
2-6
СинхронныйRESTMCPSDKИнтерактивный инструмент

API ссылок страницы и проверки битых ссылок

Список ссылок страницы и поиск битых с ограниченным числом проверок статуса.

Выбирайте, если: Выберите это, чтобы получить список ссылок страницы и найти битые, а заблокированные проверки оставить неизвестными.

Входные данные
URL, Домен
Результаты
Находить, Проверять
Кредиты
2-6
СинхронныйRESTMCPSDKИнтерактивный инструмент

API проверки hreflang

Проверка кодов hreflang, x-default, ссылок на саму страницу и обратных ссылок.

Выбирайте, если: Выберите это, чтобы проверить теги hreflang страницы и убедиться, что страницы на других языках ссылаются на неё в ответ.

Входные данные
URL, Домен
Результаты
Проверять, Оценивать
Кредиты
3
СинхронныйRESTMCPSDKИнтерактивный инструмент

API проверки Robots.txt

Проверяйте множество URL и краулеров по вставленному или актуальному robots.txt.

Выбирайте, если: Выберите это, чтобы сразу проверить множество URL и краулеров по вставленному или актуальному robots.txt.

Входные данные
URL, Домен
Результаты
Проверять, Оценивать
Кредиты
1
СинхронныйRESTMCPSDKИнтерактивный инструмент

API проверки ads.txt и sellers.json

Проверка записей ads.txt и app-ads.txt и подтверждение продавцов по sellers.json.

Выбирайте, если: Выберите это, чтобы проверить ads.txt или app-ads.txt сайта и подтвердить авторизованных продавцов по sellers.json.

Входные данные
URL, Домен
Результаты
Проверять, Оценивать
Кредиты
2-5
СинхронныйRESTMCPSDKИнтерактивный инструмент

API проверки дублированного контента

Сравнение страниц по дублированному контенту, заголовкам и мета-описаниям.

Выбирайте, если: Выберите это, чтобы сравнить до 10 страниц на дублированный контент и повторяющиеся заголовки, мета-описания и H1.

Входные данные
URL, Домен
Результаты
Сравнивать, Оценивать
Кредиты
5
СинхронныйRESTMCPSDKИнтерактивный инструмент

API аудита сайта и SEO-краулер

Обход до 50 страниц и поиск битых ссылок, дублей и on-page проблем.

Выбирайте, если: Выберите это, чтобы обойти до 50 страниц сайта и найти битые ссылки, дубли и on-page SEO проблемы в одном отчёте.

Входные данные
URL, Домен
Результаты
Находить, Оценивать
Кредиты
10-35
СинхронныйRESTMCPSDKИнтерактивный инструмент

API скриншотов сайтов

Снимок любой страницы в виде изображения или PDF для десктопа или мобильных устройств.

Выбирайте, если: Выберите это, чтобы сделать снимок страницы в PNG, JPEG, WebP или PDF для десктопа или мобильных устройств.

Входные данные
URL, Домен
Результаты
Находить, Проверять
Кредиты
10
СинхронныйRESTMCPSDKИнтерактивный инструмент

API аудита доступности

Автоматический аудит WCAG: нарушения, затронутые элементы и оценка.

Выбирайте, если: Выберите это, чтобы запустить автоматический аудит WCAG страницы с нарушениями по степени влияния и затронутыми элементами.

Входные данные
URL, Домен
Результаты
Проверять, Оценивать
Кредиты
8
СинхронныйRESTMCPSDKИнтерактивный инструмент

API сканера cookie и трекеров

Список cookie, трекеров и менеджера согласия, обнаруженных до согласия.

Выбирайте, если: Выберите это, чтобы увидеть cookie, трекеры и менеджер согласия, которые страница загружает до любого согласия.

Входные данные
URL, Домен
Результаты
Находить, Оценивать
Кредиты
8
СинхронныйRESTMCPSDKИнтерактивный инструмент

API веса страницы и ресурсов

Измерение объёма страницы, запросов, сторонних ресурсов и времени загрузки.

Выбирайте, если: Выберите это, чтобы измерить объём страницы, запросы, сторонние ресурсы, ресурсы, блокирующие отрисовку, и время загрузки.

Входные данные
URL, Домен
Результаты
Оценивать
Кредиты
6
СинхронныйRESTMCPSDKИнтерактивный инструмент

Категоризация веб-сайта

Категоризируйте веб-сайт по отраслям, типу контента и темам.

Выбирайте, если: Выбирайте, если нужна общая категория контента или бизнеса для маршрутизации, исследования или анализа.

Входные данные
URL, Домен
Результаты
Дополнять, Оценивать
Кредиты
0-3
СинхронныйПакетныйRESTMCPSDKИнтерактивный инструмент

Единый анализ URL

Извлекайте из URL нормализованные метаданные страницы, поля предпросмотра, структурированные данные и сигналы публичной идентичности.

Выбирайте, если: Выбирайте, если до глубокой загрузки нужны нормализованная структура URL и ориентированные на риск сигналы URL.

Входные данные
URL
Результаты
Собирать, Дополнять
Кредиты
2
СинхронныйПакетныйRESTMCPSDK

Рабочие процессы

Проверьте URL, соберите страницу в Markdown и добавьте данные категории или технологии, необходимые задаче агента.

От страницы к контексту для агента

Проверьте URL, соберите страницу в Markdown и добавьте данные категории или технологии, необходимые задаче агента.

Снимок исследования сайта

Соберите показательную страницу, определите конечное назначение и объедините контент с сигналами категории и открытых технологий.

Собрать общедоступную страницу в Markdown

Отправьте общедоступный URL в POST /v1/scrape с выводом Markdown. Сначала используйте стандартный режим, а рендеринг включайте только при необходимости JavaScript.

Пример запроса
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'
Пример ответа
{
  "data": {
    "url": "https://example.com",
    "outcome": "success",
    "content": "# Example Domain",
    "truncated": false
  },
  "billing": { "credits_charged": 1, "credits_refunded": 0 }
}

Сначала синхронно, задачи при необходимости

Соберите одну страницу синхронно или отправьте от 1 до 100 общедоступных URL в платную асинхронную задачу Scrape. Detection технологий также поддерживает пакетные и задачные пути продукта.

СинхронныйПакетныйАсинхронныйRESTMCPSDKИнтерактивный инструмент

Ограниченный сбор общедоступных страниц

Сбор ограничивает перенаправления, размер ответов, параллелизм и режимы обработки. Доступ ко всем страницам не гарантируется.

Начните с одной страницы и добавляйте только нужный контекст

Изучите пять продуктов данных Web или сделайте первый запрос Scrape из документации.