실시간
서비스 상태
통합하기 전에 실시간 서비스 상태와 문서화된 실패 응답을 확인하세요.
웹 데이터
robots.txt 분석 API
요청 한 번으로 웹사이트의 robots.txt를 가져와 파싱하세요. 크롤러 그룹, 규칙, 선언된 sitemap, user-agent와 경로에 대한 허용 또는 금지 판정, 주요 AI 크롤러의 루트 접근 여부를 받을 수 있습니다.
카테고리
웹 데이터
엔드포인트
1
주요 기능
4
자주 묻는 질문
4
다음 회사의 사람들이 사용합니다
연동 전 확인할 수 있는 신뢰 신호
투명한 문서, 인증된 요청, 보이는 안정성 정보로 출시 전에 DomScan을 더 쉽게 평가할 수 있습니다.
OpenAPI
API 자료
OpenAPI, Swagger, Postman, CLI, SDK, MCP 링크를 바로 확인할 수 있습니다.
API 키
보호된 액세스
인증 엔드포인트는 API 키를 사용하며 호출 전 명확한 크레딧 비용을 보여줍니다.
10,000
무료 한도
매월 10,000 크레딧으로 시작하고 사용량이 늘 때만 업그레이드하세요.
이 API로 만들 수 있는 것
이 페이지를 프로덕션 요약으로 사용하세요. 엔드포인트, 예제, 응답 구조, DomScan을 제품에 연결하는 워크플로 구성 요소를 제공합니다.
도메인 검사, DNS 인텔리전스, 위험 신호 또는 보강 데이터를 온보딩, 검색, 내부 도구에 포함하세요.
반복적인 수동 조회를 예약 작업, 알림, 재현 가능한 조사 단계로 대체하세요.
제공자 페이지를 스크래핑하지 않고 예측 가능한 필드, 문서화된 상태 코드, 크레딧 비용을 사용하세요.
OpenAPI, SDK, Postman 또는 MCP를 통해 에이전트, 대시보드, SOAR 플레이북, CRM에 데이터를 공급하세요.
통합 워크플로
첫 요청부터 반복 가능한 프로덕션 사용까지의 단순한 경로입니다.
한 번 인증
문서화된 헤더로 API 키를 보내고 서비스 전반에서 요청을 일관되게 유지하세요.
예제로 조회
curl 및 HTTP 샘플에서 시작한 뒤 매개변수를 애플리케이션 코드에 매핑하세요.
운영 및 모니터링
상태 코드, 크레딧 비용, 응답 필드를 사용해 재시도, 로그, 알림을 구축하세요.
개발자 키트
이 페이지에서 기계 판독 문서, 요청 컬렉션, SDK 또는 에이전트 도구로 바로 이동하세요.
매개변수 및 응답 맵
엔드포인트를 클라이언트에 연결하기 전에 입력, 출력 필드, 상태 코드를 확인하세요.
매개변수
urldomainuser_agentpathskip_cache
예제 응답
statussitemapstesttest.user_agenttest.pathtest.allowedtest.matched_ruletest.matched_rule.typetest.matched_rule.pathtest.matched_rule.lineai_crawlers
HTTP 상태 코드
200400401402429502
엔드포인트
GET
/v1/robots
연동 전 확인할 수 있는 신뢰 신호
투명한 문서, 인증된 요청, 보이는 안정성 정보로 출시 전에 DomScan을 더 쉽게 평가할 수 있습니다.
서비스 상태
API 자료
OpenAPI, Swagger, Postman, CLI, SDK, MCP 링크를 바로 확인할 수 있습니다.
API 키
보호된 액세스
인증 엔드포인트는 API 키를 사용하며 호출 전 명확한 크레딧 비용을 보여줍니다.
무료 한도
무료로 가입하세요
매월 10,000 크레딧으로 시작하고 사용량이 늘 때만 업그레이드하세요.
활성
예제 요청
curl 및 HTTP 샘플에서 시작한 뒤 매개변수를 애플리케이션 코드에 매핑하세요.
주요 기능
표준 매칭
규칙은 RFC 9309에 따라 매칭됩니다. 가장 구체적인 user-agent 그룹, 가장 긴 경로 일치, 동률일 때 허용, *와 $ 지원이 포함됩니다.
AI 크롤러 범위
GPTBot, ClaudeBot, PerplexityBot 등 주요 AI 크롤러의 사이트 루트 접근 여부를 소유자 및 목적과 함께 제공합니다.
경로 테스트
user-agent와 경로를 전달하면 판정, 판정을 결정한 규칙, 해당 규칙이 속한 그룹을 받을 수 있습니다.
명확한 실패 상태
차단, 속도 제한 또는 실패한 요청은 알 수 없음을 반환하고 환불되므로, 응답이 없는 경우를 허용으로 보고하지 않습니다.
예제 요청
curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"예제 응답
{
"status": "found",
"sitemaps": ["https://example.com/sitemap.xml"],
"test": {
"user_agent": "GPTBot",
"path": "/blog/",
"allowed": false,
"matched_rule": { "type": "disallow", "path": "/", "line": 2 }
},
"ai_crawlers": [
{ "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
{ "bot": "ClaudeBot", "owner": "anthropic", "root_access": "allowed", "group": "wildcard" }
]
}자주 묻는 질문
robots.txt가 없을 때는 어떻게 보고되나요?
404 또는 410 응답은 not_found를 반환하며, RFC 9309에서는 크롤러가 모든 항목에 접근할 수 있다는 뜻입니다. 401, 403, 429 및 5xx 응답은 unknown을 반환합니다.
어떤 AI 크롤러가 포함되나요?
OpenAI, Anthropic, Google, Perplexity, Common Crawl, ByteDance, Apple, Meta, Amazon의 에이전트 14개이며, 학습, 검색 또는 사용자 요청 가져오기로 분류됩니다.
결과는 캐시되나요?
확정된 결과는 15분간 캐시됩니다. skip_cache=1을 추가하면 파일을 다시 가져옵니다. 경로 테스트는 항상 요청에 맞게 새로 계산됩니다.
크레딧은 얼마나 드나요?
요청당 1크레딧입니다. 알 수 없음 상태로 끝난 요청은 환불됩니다.
관련 도구 및 리소스
HTTP 상태 코드
다음은 처리해야 할 HTTP 상태 코드입니다. 성공 응답, 인증 문제, 크레딧, 속도 제한, 누락된 데이터, 업스트림 장애를 구분하는 데 사용하세요.
성공
200
요청 성공
잘못된 요청
400
잘못된 매개변수
인증되지 않음
401
API 키 또는 세션이 없거나 유효하지 않습니다.
결제 필요
402
이 요청을 실행할 크레딧이 부족합니다.
요청 과다
429
속도 제한 초과
잘못된 게이트웨이
502
상위 RDAP 오류
robots.txt 확인하기