Для разработчиков, исследователей и создателей агентов
Используйте специализированные API, когда продукту или процессу нужны актуальные данные открытой страницы в структурированном ответе.
Данные Web
Собирайте общедоступный Web-контент с нужным контекстом
Переходите от URL к читаемому контенту, конечному адресу, видимым технологиям, категории и сигналам на уровне URL.
Начните с нужного результата
Собирайте контент для анализа, отслеживайте назначение до перехода или обогащайте известную страницу контекстом технологии и категории.
Входные данные
URLДомен
Результаты
СобиратьОцениватьНаходитьДополнять
Выберите самый узкий продукт, отвечающий на вопрос
Используйте Scrape для контента страницы. Добавляйте Redirects, Technology Detection, Website Categorization или URL Intelligence только когда контекст меняет решение.
Веб-скрейпинг
Получайте общедоступные веб-страницы в формате HTML, Markdown или текста с синхронным и асинхронным режимами.
Выбирайте, если: Выбирайте, если нужны HTML, текст или Markdown общедоступной страницы, используя рендеринг или асинхронный сбор только при поддержке и необходимости.
- Входные данные
- URL
- Результаты
- Собирать
- Кредиты
- 0-20
СинхронныйАсинхронныйRESTMCPSDK
Цепь перенаправлений
Отследите полную цепь перенаправлений для URL.
Выбирайте, если: Выбирайте, если назначение и цепочка перенаправлений важнее содержимого страницы.
- Входные данные
- URL, Домен
- Результаты
- Собирать, Оценивать
- Кредиты
- 2
СинхронныйRESTMCPSDKИнтерактивный инструмент
Определение технологического стека
Определяйте технологический стек, используемый веб-сайтом, включая CMS, фреймворки и сервисы.
Выбирайте, если: Выбирайте, если нужны данные об открытых фреймворках, платформах, аналитике или технологиях инфраструктуры.
- Входные данные
- URL, Домен
- Результаты
- Находить, Дополнять, Оценивать
- Кредиты
- 0-9
СинхронныйПакетныйАсинхронныйRESTMCPSDKИнтерактивный инструмент
Категоризация веб-сайта
Категоризируйте веб-сайт по отраслям, типу контента и темам.
Выбирайте, если: Выбирайте, если нужна общая категория контента или бизнеса для маршрутизации, исследования или анализа.
- Входные данные
- URL, Домен
- Результаты
- Дополнять, Оценивать
- Кредиты
- 0-3
СинхронныйПакетныйRESTMCPSDKИнтерактивный инструмент
Единый анализ URL
Извлекайте из URL нормализованные метаданные страницы, поля предпросмотра, структурированные данные и сигналы публичной идентичности.
Выбирайте, если: Выбирайте, если до глубокой загрузки нужны нормализованная структура URL и ориентированные на риск сигналы URL.
- Входные данные
- URL
- Результаты
- Собирать, Дополнять
- Кредиты
- 2
СинхронныйПакетныйRESTMCPSDK
Рабочие процессы
Проверьте URL, соберите страницу в Markdown и добавьте данные категории или технологии, необходимые задаче агента.
От страницы к контексту для агента
Проверьте URL, соберите страницу в Markdown и добавьте данные категории или технологии, необходимые задаче агента.
Снимок исследования сайта
Соберите показательную страницу, определите конечное назначение и объедините контент с сигналами категории и открытых технологий.
Собрать общедоступную страницу в Markdown
Отправьте общедоступный URL в POST /v1/scrape с выводом Markdown. Сначала используйте стандартный режим, а рендеринг включайте только при необходимости JavaScript.
Пример запроса
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'Пример ответа
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}Сначала синхронно, задачи при необходимости
Соберите одну страницу синхронно или отправьте от 1 до 100 общедоступных URL в платную асинхронную задачу Scrape. Detection технологий также поддерживает пакетные и задачные пути продукта.
СинхронныйПакетныйАсинхронныйRESTMCPSDKИнтерактивный инструмент
Ограниченный сбор общедоступных страниц
Сбор ограничивает перенаправления, размер ответов, параллелизм и режимы обработки. Доступ ко всем страницам не гарантируется.
Связанные решения
Собирайте общедоступные страницы Web в формате для вашего приложения
Выбирайте минимальный достаточный режим сбора, сохраняйте данные назначения и обогащайте результат только при необходимости процесса.
Дайте агентам актуальный Web-контекст с явными границами
Позвольте агенту собрать страницу, понять лежащий за ней домен и запросить более глубокие данные только по требованию задачи.
Создайте повторяемую запись публичных данных о доменах конкурентов
Собирайте общедоступные страницы и связывайте их с контекстом домена, компании, технологии, DNS и инфраструктуры.
Начните с одной страницы и добавляйте только нужный контекст
Изучите пять продуктов данных Web или сделайте первый запрос Scrape из документации.