웹 데이터

활용에 필요한 컨텍스트와 함께 공개 웹 콘텐츠를 수집하세요

URL에서 읽을 수 있는 콘텐츠, 최종 목적지, 노출된 기술, 카테고리 및 URL 수준 신호로 이동하세요.

개발자, 연구자 및 에이전트 빌더를 위해

제품이나 워크플로가 구조화된 응답에서 최신 공개 페이지 증거를 필요로 할 때 집중형 API를 사용하세요.

필요한 출력부터 시작하세요

분석을 위해 콘텐츠를 수집하고, 따라가기 전에 목적지를 추적하거나, 알려진 페이지에 기술 및 카테고리 컨텍스트를 추가하세요.

입력

URL도메인

결과

수집평가발견보강검증비교

질문에 답하는 가장 좁은 제품을 선택하세요

페이지 콘텐츠에는 Scrape를 사용하세요. 결정이 달라질 때만 Redirects, Technology Detection, Website Categorization 또는 URL Intelligence를 추가하세요.

웹 스크래핑

공개 웹페이지와 문서를 HTML, Markdown, LLM에 바로 쓸 수 있는 텍스트 또는 일반 텍스트로 가져옵니다. 한 페이지씩, 배치로, 또는 사이트 전체 크롤링으로 이용할 수 있습니다.

다음과 같은 경우 선택: 공개 페이지, PDF 또는 스프레드시트에서 깔끔한 HTML, 텍스트 또는 Markdown이 필요할 때 선택하세요. 한 페이지부터 사이트 전체까지 지원하며, 렌더링이나 비동기 수집은 지원되고 필요한 경우에만 사용합니다.

입력
URL
결과
수집
크레딧
0-20
동기식비동기식RESTMCPSDK

리다이렉트 체인

URL의 전체 리다이렉트 체인을 추적합니다.

다음과 같은 경우 선택: 페이지 본문보다 목적지와 리디렉션 체인이 중요할 때 선택하세요.

입력
URL, 도메인
결과
수집, 평가
크레딧
2
동기식RESTMCPSDK인터랙티브 도구

기술 스택 탐지

CMS, 프레임워크 및 서비스를 포함한 웹사이트에서 사용하는 기술 스택을 탐지합니다.

다음과 같은 경우 선택: 노출된 프레임워크, 플랫폼, 분석 도구 또는 인프라 기술의 증거가 필요할 때 선택하세요.

입력
URL, 도메인
결과
발견, 보강, 평가
크레딧
0-9
동기식대량비동기식RESTMCPSDK인터랙티브 도구

robots.txt 분석 API

robots.txt를 파싱하고 모든 크롤러와 경로를 테스트하며 차단된 AI 크롤러를 확인합니다.

다음과 같은 경우 선택: 사이트의 robots.txt를 읽고, 크롤러가 특정 경로를 가져올 수 있는지 테스트하고, 허용되거나 차단된 AI 크롤러를 확인할 때 선택하세요.

입력
URL, 도메인
결과
검증, 평가
크레딧
1
동기식RESTMCPSDK인터랙티브 도구

XML sitemap 감사 API

XML sitemap을 찾아 URL 수, lastmod 최신성 및 프로토콜 문제를 감사합니다.

다음과 같은 경우 선택: 사이트의 XML sitemap을 찾아 정해진 파일 수 범위 안에서 URL 수, lastmod 최신성, 프로토콜 문제를 확인할 때 선택하세요.

입력
URL, 도메인
결과
발견, 검증, 평가
크레딧
2
동기식RESTMCPSDK인터랙티브 도구

온페이지 SEO 감사 API

제목, 메타 태그, 제목 구조, 링크, 이미지, 구조화 데이터를 SEO 점수로 감사합니다.

다음과 같은 경우 선택: 메타 태그와 제목 구조부터 링크, 이미지, 구조화 데이터까지 한 페이지의 온페이지 SEO를 JavaScript 렌더링 여부와 관계없이 감사하려면 이것을 선택하세요.

입력
URL, 도메인
결과
검증, 평가
크레딧
2-6
동기식RESTMCPSDK인터랙티브 도구

JavaScript SEO 렌더링 검사 API

원본 HTML과 렌더링된 HTML을 비교하여 JavaScript에 의존하는 SEO 신호를 확인합니다.

다음과 같은 경우 선택: 원본 HTML과 렌더링된 HTML을 비교하여 페이지의 어떤 SEO 신호가 JavaScript 실행 후에만 존재하는지 확인하려면 이것을 선택하세요.

입력
URL, 도메인
결과
비교, 평가
크레딧
7
동기식RESTMCPSDK인터랙티브 도구

구조화 데이터 검증 API

JSON-LD, Microdata, RDFa schema.org 마크업을 추출하고 검증합니다.

다음과 같은 경우 선택: 페이지에서 JSON-LD, Microdata, RDFa를 추출하고 일반적인 리치 결과 유형에 대한 schema.org 규칙으로 검증하려면 이것을 선택하세요.

입력
URL, 도메인
결과
검증, 평가
크레딧
2-6
동기식RESTMCPSDK인터랙티브 도구

키워드 밀도 API

페이지에서 가장 자주 나오는 키워드와 구문을 밀도 백분율과 함께 찾아 줍니다.

다음과 같은 경우 선택: 페이지의 단어와 구문 빈도를 측정하고 대상 키워드가 어디에 나타나는지 확인하려면 이것을 선택하세요.

입력
URL, 도메인
결과
평가
크레딧
2-6
동기식RESTMCPSDK인터랙티브 도구

페이지 링크 및 깨진 링크 검사 API

페이지 링크를 나열하고 제한된 상태 검사로 깨진 링크를 찾습니다.

다음과 같은 경우 선택: 페이지의 링크를 나열하고 깨진 링크를 찾으려면 이것을 선택하세요. 차단된 검사는 알 수 없음으로 유지됩니다.

입력
URL, 도메인
결과
발견, 검증
크레딧
2-6
동기식RESTMCPSDK인터랙티브 도구

Hreflang 검증 API

hreflang 코드, x-default, 자기 참조, 상호 링크를 검증합니다.

다음과 같은 경우 선택: 페이지의 hreflang 태그를 검증하고 대체 언어 페이지가 다시 링크하는지 확인하려면 이것을 선택하세요.

입력
URL, 도메인
결과
검증, 평가
크레딧
3
동기식RESTMCPSDK인터랙티브 도구

Robots.txt 테스터 API

붙여넣은 robots.txt 또는 실제 robots.txt로 여러 URL과 크롤러를 테스트합니다.

다음과 같은 경우 선택: 붙여넣은 robots.txt 또는 실제 robots.txt로 여러 URL과 크롤러를 한 번에 테스트하려면 이 항목을 선택하세요.

입력
URL, 도메인
결과
검증, 평가
크레딧
1
동기식RESTMCPSDK인터랙티브 도구

ads.txt 및 sellers.json 검증 API

ads.txt 및 app-ads.txt 레코드를 검증하고 sellers.json으로 판매자를 확인합니다.

다음과 같은 경우 선택: 사이트의 ads.txt 또는 app-ads.txt를 검증하고 sellers.json으로 승인된 판매자를 확인하려면 선택하세요.

입력
URL, 도메인
결과
검증, 평가
크레딧
2-5
동기식RESTMCPSDK인터랙티브 도구

중복 콘텐츠 검사기 API

페이지의 중복 콘텐츠, 제목, 메타 설명을 비교합니다.

다음과 같은 경우 선택: 최대 10개 페이지의 중복 콘텐츠와 반복되는 제목, 메타 설명, H1을 비교하려면 선택하세요.

입력
URL, 도메인
결과
비교, 평가
크레딧
5
동기식RESTMCPSDK인터랙티브 도구

사이트 감사 및 SEO 크롤러 API

최대 50개 페이지를 크롤링하여 깨진 링크, 중복, 온페이지 문제를 찾습니다.

다음과 같은 경우 선택: 사이트의 최대 50개 페이지를 크롤링하여 깨진 링크, 중복, 온페이지 SEO 문제를 한 보고서로 찾으려면 선택하세요.

입력
URL, 도메인
결과
발견, 평가
크레딧
10-35
동기식RESTMCPSDK인터랙티브 도구

웹사이트 스크린샷 API

데스크톱 또는 모바일에서 모든 페이지를 이미지나 PDF로 캡처합니다.

다음과 같은 경우 선택: 데스크톱 또는 모바일에서 페이지를 PNG, JPEG, WebP 또는 PDF로 캡처하려면 선택하세요.

입력
URL, 도메인
결과
발견, 검증
크레딧
10
동기식RESTMCPSDK인터랙티브 도구

접근성 감사 API

위반 사항, 영향받는 요소, 점수가 포함된 자동화된 WCAG 감사를 실행합니다.

다음과 같은 경우 선택: 영향도별 위반 사항과 영향받는 요소가 포함된 자동화된 WCAG 감사를 페이지에 실행하려면 선택하세요.

입력
URL, 도메인
결과
검증, 평가
크레딧
8
동기식RESTMCPSDK인터랙티브 도구

쿠키 및 트래커 스캐너 API

동의 전에 확인되는 쿠키, 트래커, 동의 관리자를 나열합니다.

다음과 같은 경우 선택: 동의 전에 페이지가 불러오는 쿠키, 트래커, 동의 관리자를 확인하려면 선택하세요.

입력
URL, 도메인
결과
발견, 평가
크레딧
8
동기식RESTMCPSDK인터랙티브 도구

페이지 용량 및 리소스 API

페이지 바이트, 요청, 서드파티, 로딩 시간을 측정합니다.

다음과 같은 경우 선택: 페이지의 바이트, 요청, 서드파티, 렌더링 차단 리소스, 로딩 시간을 측정하려면 선택하세요.

입력
URL, 도메인
결과
평가
크레딧
6
동기식RESTMCPSDK인터랙티브 도구

웹사이트 분류

산업, 콘텐츠 유형 및 주제별 웹사이트를 분류합니다.

다음과 같은 경우 선택: 라우팅, 조사 또는 검토를 위해 넓은 콘텐츠 또는 비즈니스 카테고리가 필요할 때 선택하세요.

입력
URL, 도메인
결과
보강, 평가
크레딧
0-3
동기식대량RESTMCPSDK인터랙티브 도구

통합 URL 인텔리전스

URL에서 정규화된 페이지 메타데이터, 미리보기 필드, 구조화된 데이터 및 공개 식별 신호를 추출합니다.

다음과 같은 경우 선택: 심층 수집 전에 정규화된 URL 구조와 위험 중심 URL 신호가 필요할 때 선택하세요.

입력
URL
결과
수집, 보강
크레딧
2
동기식대량RESTMCPSDK

워크플로

URL을 검사하고 페이지를 Markdown으로 수집한 다음 에이전트 작업에 필요한 카테고리 또는 기술 증거를 추가하세요.

페이지에서 에이전트가 바로 사용할 컨텍스트로

URL을 검사하고 페이지를 Markdown으로 수집한 다음 에이전트 작업에 필요한 카테고리 또는 기술 증거를 추가하세요.

웹사이트 조사 스냅샷

대표 페이지를 수집하고 최종 목적지를 확인한 다음 콘텐츠를 웹사이트 카테고리 및 노출된 기술 신호와 결합하세요.

공개 페이지 하나를 Markdown으로 수집

Markdown 출력을 사용해 공개 URL을 POST /v1/scrape로 제출하세요. 먼저 standard 모드를 사용하고, 페이지에 JavaScript가 필요할 때만 렌더링을 선택하세요.

예제 요청
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'
예제 응답
{
  "data": {
    "url": "https://example.com",
    "outcome": "success",
    "content": "# Example Domain",
    "truncated": false
  },
  "billing": { "credits_charged": 1, "credits_refunded": 0 }
}

먼저 동기 실행, 필요한 경우 작업 사용

페이지 하나를 동기적으로 수집하거나 1개에서 100개의 공개 URL을 유료 비동기 Scrape 작업에 제출하세요. Technology Detection도 제품별 대량 및 작업 경로를 지원합니다.

동기식대량비동기식RESTMCPSDK인터랙티브 도구

제한된 공개 페이지 수집

수집에는 리디렉션, 응답 크기, 동시성 및 처리 모드 제한이 적용됩니다. 모든 페이지에 대한 접근을 보장하지 않습니다.

페이지 하나로 시작한 다음 필요한 컨텍스트만 추가하세요

5개의 웹 데이터 제품을 검토하거나 문서에서 첫 Scrape 요청을 만들어 보세요.