Для разработчиков, команд данных, исследователей и создателей агентов
Используйте этот процесс для ограниченного сбора страниц, извлечения контента, исследовательских входных данных и контекста публичных страниц.
Решение для сбора данных
Собирайте общедоступные страницы Web в формате для вашего приложения
Выбирайте минимальный достаточный режим сбора, сохраняйте данные назначения и обогащайте результат только при необходимости процесса.
Полезный контент страницы с контекстом сбора
Получайте HTML, текст или Markdown, а также данные конечного назначения и обработки для каждого поддерживаемого запроса.
Один URL не является надёжной записью контента
Страница может перенаправить, потребовать JavaScript, превысить ограниченный размер ответа или открыть только часть нужного приложению контекста.
Сбор ограничен, доступ не гарантируется
DomScan не обходит аутентификацию, paywall, контроль доступа или ограничения цели и не обещает сбор каждого публичного URL.
Рабочий процесс
Получайте HTML, текст или Markdown, а также данные конечного назначения и обработки для каждого поддерживаемого запроса.
Проверить и нормализовать целевой URL
Используйте URL Intelligence или Redirects, если до сбора нужно проверить назначение или сигналы риска URL.
Собирать в минимальном достаточном режиме
Начните со стандартного Scrape, включайте устойчивые повторы только при пользе и используйте рендеринг только для контента, зависящего от JavaScript.
Добавить структурированный контекст, если он меняет решение
Запросите Website Categorization или Technology Detection после сбора, если дальнейшей задаче нужны эти сигналы.
Собрать общедоступную статью в Markdown
Отправьте URL статьи в стандартном режиме, сохраните конечный URL и добавьте данные категории только при использовании их приложением.
Пример запроса
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'Пример ответа
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}Продукты в этом рабочем процессе
Получайте HTML, текст или Markdown, а также данные конечного назначения и обработки для каждого поддерживаемого запроса.
Веб-скрейпинг
Получайте общедоступные веб-страницы в формате HTML, Markdown или текста с синхронным и асинхронным режимами.
Выбирайте, если: Получайте общедоступные веб-страницы в формате HTML, Markdown или текста с синхронным и асинхронным режимами.
- Входные данные
- URL
- Результаты
- Собирать
- Кредиты
- 0-20
СинхронныйАсинхронныйRESTMCPSDK
Единый анализ URL
Извлекайте из URL нормализованные метаданные страницы, поля предпросмотра, структурированные данные и сигналы публичной идентичности.
Выбирайте, если: Извлекайте из URL нормализованные метаданные страницы, поля предпросмотра, структурированные данные и сигналы публичной идентичности.
- Входные данные
- URL
- Результаты
- Собирать, Дополнять
- Кредиты
- 2
СинхронныйПакетныйRESTMCPSDK
Категоризация веб-сайта
Категоризируйте веб-сайт по отраслям, типу контента и темам.
Выбирайте, если: Категоризируйте веб-сайт по отраслям, типу контента и темам.
- Входные данные
- URL, Домен
- Результаты
- Дополнять, Оценивать
- Кредиты
- 0-3
СинхронныйПакетныйRESTMCPSDKИнтерактивный инструмент
Асинхронные пакетные запросы API
Ставьте в очередь множество поддерживаемых запросов API и получайте результаты, не удерживая клиентское соединение открытым.
Выбирайте, если: Ставьте в очередь множество поддерживаемых запросов API и получайте результаты, не удерживая клиентское соединение открытым.
- Входные данные
- Домен, URL, Адрес электронной почты
- Результаты
- Автоматизировать
- Кредиты
- 0
АсинхронныйRESTMCPSDK
Выбирайте этот процесс, если
Выбирайте, если
Нужен ограниченный публичный контент с явным контекстом назначения, режима и обработки.
Не предназначено для
Не используйте для обхода контроля доступа, неограниченного сканирования сайта или гарантии сбора каждой цели.
Связанные наборы продуктов
Полезный контент страницы с контекстом сбора
Выбирайте минимальный достаточный режим сбора, сохраняйте данные назначения и обогащайте результат только при необходимости процесса.