Para desenvolvedores, pesquisadores e construtores de agentes
Use APIs focadas quando um produto ou fluxo precisar de evidências atuais de uma página pública em uma resposta estruturada.
Dados Web
Colete conteúdo público da Web com o contexto necessário para usá-lo
Passe de uma URL para conteúdo legível, seu destino final, tecnologias visíveis, categoria e sinais no nível da URL.
Comece pelo resultado de que precisa
Colete conteúdo para análise, rastreie um destino antes de segui-lo ou enriqueça uma página conhecida com contexto de tecnologia e categoria.
Entradas
URLDomínio
Resultados
ColetarAvaliarDescobrirEnriquecer
Escolha o produto mais específico que responda à pergunta
Use Scrape para conteúdo de página. Adicione Redirects, Technology Detection, Website Categorization ou URL Intelligence somente quando esse contexto mudar a decisão.
Web Scraping
Busque páginas públicas da web em HTML, Markdown ou texto, com opções síncronas e assíncronas.
Escolha quando: Escolha quando precisar de HTML, texto ou Markdown de uma página pública, usando renderização ou coleta assíncrona somente quando houver suporte e necessidade.
- Entradas
- URL
- Resultados
- Coletar
- Créditos
- 0-20
SíncronaAssíncronaRESTMCPSDK
Cadeia de Redirecionamento
Rastreie a cadeia de redirecionamento completa para um URL.
Escolha quando: Escolha quando o destino e a cadeia de redirecionamentos forem mais importantes que o corpo da página.
- Entradas
- URL, Domínio
- Resultados
- Coletar, Avaliar
- Créditos
- 2
SíncronaRESTMCPSDKFerramenta interativa
Detecção de Pilha Tecnológica
Detecte a pilha tecnológica utilizada por um website incluindo CMS, frameworks e serviços.
Escolha quando: Escolha quando precisar de evidências de frameworks, plataformas, análises ou tecnologias de infraestrutura expostas.
- Entradas
- URL, Domínio
- Resultados
- Descobrir, Enriquecer, Avaliar
- Créditos
- 0-9
SíncronaEm loteAssíncronaRESTMCPSDKFerramenta interativa
Categorização de Website
Categorize um website por indústria, tipo de conteúdo e tópicos.
Escolha quando: Escolha quando precisar de uma categoria ampla de conteúdo ou negócio para roteamento, pesquisa ou análise.
- Entradas
- URL, Domínio
- Resultados
- Enriquecer, Avaliar
- Créditos
- 0-3
SíncronaEm loteRESTMCPSDKFerramenta interativa
Inteligência de URL unificada
Extraia de uma URL metadados normalizados da página, campos de pré-visualização, dados estruturados e sinais públicos de identidade.
Escolha quando: Escolha quando precisar de estrutura de URL normalizada e sinais de risco da URL antes de uma coleta mais profunda.
- Entradas
- URL
- Resultados
- Coletar, Enriquecer
- Créditos
- 2
SíncronaEm loteRESTMCPSDK
Fluxos de trabalho
Inspecione a URL, colete a página em Markdown e adicione as evidências de categoria ou tecnologia exigidas pela tarefa do agente.
Da página ao contexto pronto para o agente
Inspecione a URL, colete a página em Markdown e adicione as evidências de categoria ou tecnologia exigidas pela tarefa do agente.
Instantâneo de pesquisa de site
Colete uma página representativa, resolva seu destino final e combine conteúdo com sinais de categoria e tecnologia exposta.
Coletar uma página pública em Markdown
Envie uma URL pública a POST /v1/scrape com saída em Markdown. Use primeiro o modo padrão e selecione renderização apenas quando a página exigir JavaScript.
Pedido de Exemplo
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'Resposta de Exemplo
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}Síncrono primeiro, tarefas quando a carga exigir
Faça Scrape de uma página de forma síncrona ou envie de 1 a 100 URLs públicas a uma tarefa assíncrona paga. A detecção de tecnologia também oferece caminhos de lote e tarefas específicos do produto.
SíncronaEm loteAssíncronaRESTMCPSDKFerramenta interativa
Coleta limitada de páginas públicas
A coleta usa limites de redirecionamentos, tamanho de resposta, concorrência e modos de processamento. Ela não promete acesso a todas as páginas.
Soluções relacionadas
Colete páginas públicas da Web em um formato que seu aplicativo possa usar
Escolha o modo de coleta suficiente mais simples, preserve evidências do destino e enriqueça o resultado somente quando o fluxo precisar.
Dê aos agentes contexto Web atual com limites explícitos
Permita que um agente colete uma página, entenda o domínio por trás dela e solicite evidências mais profundas somente quando a tarefa exigir.
Crie um registro repetível de evidências públicas para domínios concorrentes
Colete páginas públicas e conecte-as ao contexto de domínio, empresa, tecnologia, DNS e infraestrutura.
Comece com uma página e adicione apenas o contexto necessário
Revise os cinco produtos de dados Web ou faça sua primeira solicitação Scrape pela documentação.