面向开发者、数据团队、研究人员和智能体构建者
将此工作流用于有范围限制的页面收集、内容提取、研究输入和公开页面上下文。
带有收集上下文的可用页面内容
为每个支持的请求接收 HTML、文本或 Markdown，以及最终目标和处理证据。
单独的 URL 不是可靠的内容记录
页面可能重定向、需要 JavaScript、超过有范围限制的响应大小，或只暴露应用所需上下文的一部分。
收集有范围限制，访问也不保证
DomScan 不绕过身份验证、付费墙、访问控制或目标限制，也不承诺能够收集每个公开 URL。
工作流
为每个支持的请求接收 HTML、文本或 Markdown，以及最终目标和处理证据。
检查并规范化目标 URL
如果收集前需要检查目标或 URL 风险信号，使用 URL Intelligence 或 Redirects。
使用足够满足需求的最低模式收集
从 standard Scrape 开始，仅在有帮助时选择弹性重试，并只对依赖 JavaScript 的内容使用渲染。
在上下文会改变决策时添加结构化信息
当下游任务需要这些信号时，在收集后请求 Website Categorization 或 Technology Detection。
将公开文章收集为 Markdown
以 standard 模式提交文章 URL，保留最终 URL，并仅在应用使用时添加类别证据。
请求示例
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'响应示例
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}此工作流中的产品
为每个支持的请求接收 HTML、文本或 Markdown，以及最终目标和处理证据。
网页抓取
以 HTML、Markdown 或文本形式获取公开网页，支持同步和异步选项。
适用场景: 以 HTML、Markdown 或文本形式获取公开网页，支持同步和异步选项。
- 输入
- URL
- 结果
- 收集
- 额度
- 0-20
同步异步RESTMCPSDK
统一 URL 情报
从 URL 提取规范化页面元数据、预览字段、结构化数据和公开身份信号。
适用场景: 从 URL 提取规范化页面元数据、预览字段、结构化数据和公开身份信号。
- 输入
- URL
- 结果
- 收集, 丰富
- 额度
- 2
同步批量RESTMCPSDK
网站分类
按行业、内容类型和主题对网站进行分类。
适用场景: 按行业、内容类型和主题对网站进行分类。
- 输入
- URL, 域名
- 结果
- 丰富, 评估
- 额度
- 0-3
同步批量RESTMCPSDK交互式工具
异步 API 批处理
将多个受支持的 API 请求加入队列，无需保持客户端连接即可收集结果。
适用场景: 将多个受支持的 API 请求加入队列，无需保持客户端连接即可收集结果。
- 输入
- 域名, URL, 电子邮件地址
- 结果
- 自动化
- 额度
- 0
异步RESTMCPSDK