Для разработчиков, исследователей и создателей агентов
Используйте специализированные API, когда продукту или процессу нужны актуальные данные открытой страницы в структурированном ответе.
Попробуйте найти продукт, результат, путь endpoint или тему API.
Данные Web
Переходите от URL к читаемому контенту, конечному адресу, видимым технологиям, категории и сигналам на уровне URL.
Используйте специализированные API, когда продукту или процессу нужны актуальные данные открытой страницы в структурированном ответе.
Собирайте контент для анализа, отслеживайте назначение до перехода или обогащайте известную страницу контекстом технологии и категории.
Используйте Scrape для контента страницы. Добавляйте Redirects, Technology Detection, Website Categorization или URL Intelligence только когда контекст меняет решение.
Получайте общедоступные веб-страницы и документы в формате HTML, Markdown, текста для LLM или обычного текста: по одной странице, пакетами или обходом всего сайта.
Выбирайте, если: Выбирайте, если нужны чистые HTML, текст или Markdown из общедоступных страниц, PDF или электронных таблиц, от одной страницы до всего сайта, используя рендеринг или асинхронный сбор только при поддержке и необходимости.
Отследите полную цепь перенаправлений для URL.
Выбирайте, если: Выбирайте, если назначение и цепочка перенаправлений важнее содержимого страницы.
Определяйте технологический стек, используемый веб-сайтом, включая CMS, фреймворки и сервисы.
Выбирайте, если: Выбирайте, если нужны данные об открытых фреймворках, платформах, аналитике или технологиях инфраструктуры.
Разбор robots.txt, проверка любого краулера и пути, список заблокированных ИИ-краулеров.
Выбирайте, если: Выбирайте, чтобы прочитать robots.txt сайта, проверить, может ли краулер загрузить путь, и посмотреть, каким ИИ-краулерам доступ разрешён или заблокирован.
Поиск и аудит XML sitemap: количество URL, актуальность lastmod и нарушения протокола.
Выбирайте, если: Выбирайте, чтобы найти XML sitemap сайта и проверить количество URL, актуальность lastmod и нарушения протокола в рамках фиксированного лимита файлов.
Аудит заголовков, мета-тегов, заголовков H1-H6, ссылок, изображений и структурированных данных с SEO-оценкой.
Выбирайте, если: Выберите это, чтобы проверить одну страницу на соответствие on-page SEO: от мета-тегов и заголовков до ссылок, изображений и структурированных данных, с отрисовкой JavaScript или без неё.
Сравнение исходного и отрисованного HTML: какие SEO-сигналы зависят от JavaScript.
Выбирайте, если: Выберите это, чтобы узнать, какие SEO-сигналы страницы существуют только после выполнения JavaScript, сравнив её исходный и отрисованный HTML.
Извлечение и проверка разметки schema.org в форматах JSON-LD, Microdata и RDFa.
Выбирайте, если: Выберите это, чтобы извлечь JSON-LD, Microdata и RDFa со страницы и проверить их по правилам schema.org для распространённых типов расширенных результатов.
Поиск самых частых ключевых слов и фраз на странице с процентной плотностью.
Выбирайте, если: Выберите это, чтобы измерить частоту слов и фраз на странице и проверить, где встречаются целевые ключевые слова.
Список ссылок страницы и поиск битых с ограниченным числом проверок статуса.
Выбирайте, если: Выберите это, чтобы получить список ссылок страницы и найти битые, а заблокированные проверки оставить неизвестными.
Проверка кодов hreflang, x-default, ссылок на саму страницу и обратных ссылок.
Выбирайте, если: Выберите это, чтобы проверить теги hreflang страницы и убедиться, что страницы на других языках ссылаются на неё в ответ.
Проверяйте множество URL и краулеров по вставленному или актуальному robots.txt.
Выбирайте, если: Выберите это, чтобы сразу проверить множество URL и краулеров по вставленному или актуальному robots.txt.
Проверка записей ads.txt и app-ads.txt и подтверждение продавцов по sellers.json.
Выбирайте, если: Выберите это, чтобы проверить ads.txt или app-ads.txt сайта и подтвердить авторизованных продавцов по sellers.json.
Сравнение страниц по дублированному контенту, заголовкам и мета-описаниям.
Выбирайте, если: Выберите это, чтобы сравнить до 10 страниц на дублированный контент и повторяющиеся заголовки, мета-описания и H1.
Обход до 50 страниц и поиск битых ссылок, дублей и on-page проблем.
Выбирайте, если: Выберите это, чтобы обойти до 50 страниц сайта и найти битые ссылки, дубли и on-page SEO проблемы в одном отчёте.
Снимок любой страницы в виде изображения или PDF для десктопа или мобильных устройств.
Выбирайте, если: Выберите это, чтобы сделать снимок страницы в PNG, JPEG, WebP или PDF для десктопа или мобильных устройств.
Автоматический аудит WCAG: нарушения, затронутые элементы и оценка.
Выбирайте, если: Выберите это, чтобы запустить автоматический аудит WCAG страницы с нарушениями по степени влияния и затронутыми элементами.
Список cookie, трекеров и менеджера согласия, обнаруженных до согласия.
Выбирайте, если: Выберите это, чтобы увидеть cookie, трекеры и менеджер согласия, которые страница загружает до любого согласия.
Измерение объёма страницы, запросов, сторонних ресурсов и времени загрузки.
Выбирайте, если: Выберите это, чтобы измерить объём страницы, запросы, сторонние ресурсы, ресурсы, блокирующие отрисовку, и время загрузки.
Категоризируйте веб-сайт по отраслям, типу контента и темам.
Выбирайте, если: Выбирайте, если нужна общая категория контента или бизнеса для маршрутизации, исследования или анализа.
Извлекайте из URL нормализованные метаданные страницы, поля предпросмотра, структурированные данные и сигналы публичной идентичности.
Выбирайте, если: Выбирайте, если до глубокой загрузки нужны нормализованная структура URL и ориентированные на риск сигналы URL.
Проверьте URL, соберите страницу в Markdown и добавьте данные категории или технологии, необходимые задаче агента.
Проверьте URL, соберите страницу в Markdown и добавьте данные категории или технологии, необходимые задаче агента.
Соберите показательную страницу, определите конечное назначение и объедините контент с сигналами категории и открытых технологий.
Отправьте общедоступный URL в POST /v1/scrape с выводом Markdown. Сначала используйте стандартный режим, а рендеринг включайте только при необходимости JavaScript.
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}
Соберите одну страницу синхронно или отправьте от 1 до 100 общедоступных URL в платную асинхронную задачу Scrape. Detection технологий также поддерживает пакетные и задачные пути продукта.
Сбор ограничивает перенаправления, размер ответов, параллелизм и режимы обработки. Доступ ко всем страницам не гарантируется.
Выбирайте минимальный достаточный режим сбора, сохраняйте данные назначения и обогащайте результат только при необходимости процесса.
ПодробнееПозвольте агенту собрать страницу, понять лежащий за ней домен и запросить более глубокие данные только по требованию задачи.
ПодробнееСобирайте общедоступные страницы и связывайте их с контекстом домена, компании, технологии, DNS и инфраструктуры.
ПодробнееИзучите пять продуктов данных Web или сделайте первый запрос Scrape из документации.