라이브 폼에서 시작
도메인, URL, IP, 이메일 또는 레코드를 입력하면 설정 없이 집중된 결과를 얻을 수 있습니다.
Robots.txt 검사기
웹사이트를 입력하면 robots.txt를 읽고, 크롤러가 경로를 가져올 수 있는지 테스트하며, GPTBot, ClaudeBot, PerplexityBot 등 AI 크롤러가 어떻게 처리되는지 확인할 수 있습니다.
결과
대화형 인텔리전스 도구
검사를 실행하고 워크플로로 확장하세요
브라우저 도구로 빠르게 답을 확인한 뒤, 반복 가능한 단계가 되면 같은 로직을 스크립트, 모니터링 또는 제품 흐름으로 옮기세요.
의사결정용 신호 검토
원시 제공자 노이즈 대신 상태, 위험, 레코드, 다음 조치를 강조합니다.
효과가 있는 워크플로 자동화
요청과 응답 예시를 사용해 일회성 검사를 API 호출이나 레시피로 전환하세요.
다음 회사의 사람들이 사용합니다
이 도구가 결정에 도움을 주는 것
각 페이지는 단순 원시 조회가 아니라 실제 운영 질문을 중심으로 구성됩니다.
현재 DNS, 등록, 보안, 가격 또는 평판 증거를 확인합니다.
관련 검사와 결과를 비교해 다음 조치를 더 신뢰할 수 있게 합니다.
예시를 복사하고 연결된 도구를 열거나 규모가 필요할 때 API 문서로 이동하세요.
연동 전 확인할 수 있는 신뢰 신호
투명한 문서, 인증된 요청, 보이는 안정성 정보로 출시 전에 DomScan을 더 쉽게 평가할 수 있습니다.
서비스 상태
API 자료
OpenAPI, Swagger, Postman, CLI, SDK, MCP 링크를 바로 확인할 수 있습니다.
API 키
보호된 액세스
인증 엔드포인트는 API 키를 사용하며 호출 전 명확한 크레딧 비용을 보여줍니다.
무료 한도
무료로 가입하세요
매월 10,000 크레딧으로 시작하고 사용량이 늘 때만 업그레이드하세요.
활성
예제 요청
curl 및 HTTP 샘플에서 시작한 뒤 매개변수를 애플리케이션 코드에 매핑하세요.
주요 기능
RFC 9309 파싱
그룹, allow 및 disallow 규칙, 와일드카드, 끝 앵커를 표준에 따라 매칭하며 가장 긴 규칙이 우선합니다.
AI 크롤러 매트릭스
OpenAI, Anthropic, Google, Perplexity 등의 학습, 검색 및 사용자 요청 에이전트를 포함한 14개 AI 크롤러의 루트 접근 여부를 보여 드립니다.
정직한 알 수 없음 상태
차단, 시간 초과 또는 서버 오류로 파일을 가져올 수 없으면 결과는 알 수 없음이며, 조용히 허용으로 처리하지 않습니다.
예제 요청
GET /v1/robots?url=example.comGET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/동일한 API를 기반으로 구축
브라우저 경험은 DomScan의 구조화된 엔드포인트를 미리 보여 주므로 팀이 코드를 작성하기 전에 사용 사례를 검증할 수 있습니다.
자주 묻는 질문
사이트에 robots.txt가 없으면 어떻게 되나요?
404 또는 410 응답은 크롤링 제한이 없다는 뜻이므로 모든 경로가 허용됩니다. 검사기는 이를 찾을 수 없음으로 보고합니다.
AI 크롤러를 차단하려면 어떻게 하나요?
GPTBot이나 ClaudeBot처럼 각 크롤러에 대한 user-agent 그룹을 추가하고 Disallow 규칙을 지정하세요. AI 크롤러 표에서 현재 규칙이 이미 적용되는 봇을 확인할 수 있습니다.
robots.txt가 모든 봇을 막아 주나요?
아니요. Robots.txt는 규칙을 준수하는 크롤러가 따르는 요청일 뿐입니다. 접근 제어를 강제하지 않으므로 비공개 콘텐츠에는 인증이 필요합니다.