개발자, 데이터 팀, 연구자 및 에이전트 빌더를 위해
제한된 페이지 수집, 콘텐츠 추출, 연구 입력 및 공개 페이지 컨텍스트에 이 워크플로를 사용하세요.
데이터 수집 솔루션
애플리케이션이 사용할 수 있는 형식으로 공개 웹 페이지를 수집하세요
충분한 가장 낮은 수집 모드를 선택하고, 목적지 증거를 보존하고, 워크플로에 필요할 때만 결과를 보강하세요.
수집 컨텍스트가 포함된 활용 가능한 페이지 콘텐츠
지원되는 각 요청에 대해 HTML, 텍스트 또는 Markdown과 최종 목적지 및 처리 증거를 받으세요.
URL만으로는 신뢰할 수 있는 콘텐츠 기록이 되지 않습니다
페이지가 리디렉션되거나 JavaScript를 필요로 하거나 제한된 응답 크기를 초과하거나 애플리케이션에 필요한 컨텍스트의 일부만 노출할 수 있습니다.
수집에는 제한이 있으며 접근이 보장되지 않습니다
DomScan은 인증, 유료 벽, 접근 제어 또는 대상 제한을 우회하지 않으며 모든 공개 URL을 수집할 수 있다고 약속하지 않습니다.
워크플로
지원되는 각 요청에 대해 HTML, 텍스트 또는 Markdown과 최종 목적지 및 처리 증거를 받으세요.
대상 URL 검사 및 정규화
수집 전에 목적지 또는 URL 위험 신호를 확인해야 할 때 URL Intelligence 또는 Redirects를 사용하세요.
충분한 가장 낮은 모드로 수집
standard Scrape로 시작하고 유용할 때만 복원력 있는 재시도 동작을 선택하며 JavaScript 기반 콘텐츠에만 렌더링을 사용하세요.
결정을 바꾸는 경우 구조화된 컨텍스트 추가
후속 작업에 해당 신호가 필요할 때 수집 후 Website Categorization 또는 Technology Detection을 요청하세요.
공개 기사를 Markdown으로 수집
standard 모드로 기사 URL을 제출하고 최종 URL을 보존한 다음 애플리케이션이 사용할 때만 카테고리 증거를 추가하세요.
예제 요청
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'예제 응답
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}이 워크플로의 제품
지원되는 각 요청에 대해 HTML, 텍스트 또는 Markdown과 최종 목적지 및 처리 증거를 받으세요.
웹 스크래핑
공개 웹페이지를 HTML, Markdown 또는 텍스트로 가져오며 동기 및 비동기 옵션을 제공합니다.
다음과 같은 경우 선택: 공개 웹페이지를 HTML, Markdown 또는 텍스트로 가져오며 동기 및 비동기 옵션을 제공합니다.
- 입력
- URL
- 결과
- 수집
- 크레딧
- 0-20
동기식비동기식RESTMCPSDK
통합 URL 인텔리전스
URL에서 정규화된 페이지 메타데이터, 미리보기 필드, 구조화된 데이터 및 공개 식별 신호를 추출합니다.
다음과 같은 경우 선택: URL에서 정규화된 페이지 메타데이터, 미리보기 필드, 구조화된 데이터 및 공개 식별 신호를 추출합니다.
- 입력
- URL
- 결과
- 수집, 보강
- 크레딧
- 2
동기식대량RESTMCPSDK
웹사이트 분류
산업, 콘텐츠 유형 및 주제별 웹사이트를 분류합니다.
다음과 같은 경우 선택: 산업, 콘텐츠 유형 및 주제별 웹사이트를 분류합니다.
- 입력
- URL, 도메인
- 결과
- 보강, 평가
- 크레딧
- 0-3
동기식대량RESTMCPSDK인터랙티브 도구
비동기 API 배치
클라이언트 연결을 계속 열어 두지 않고도 지원되는 여러 API 요청을 대기열에 넣고 결과를 수집할 수 있습니다.
다음과 같은 경우 선택: 클라이언트 연결을 계속 열어 두지 않고도 지원되는 여러 API 요청을 대기열에 넣고 결과를 수집할 수 있습니다.
- 입력
- 도메인, URL, 이메일 주소
- 결과
- 자동화
- 크레딧
- 0
비동기식RESTMCPSDK
다음과 같은 경우 이 워크플로를 선택하세요
다음과 같은 경우 선택
명시적인 목적지, 모드 및 처리 컨텍스트가 포함된 제한된 공개 페이지 콘텐츠가 필요할 때.
다음 용도가 아님
접근 제어 우회, 무제한 사이트 크롤링 또는 모든 대상 수집 보장에 사용하지 마세요.
관련 제품군
수집 컨텍스트가 포함된 활용 가능한 페이지 콘텐츠
충분한 가장 낮은 수집 모드를 선택하고, 목적지 증거를 보존하고, 워크플로에 필요할 때만 결과를 보강하세요.