전체 도구 웹 데이터 도메인 인텔리전스 DNS 및 인프라 보안 및 신뢰 신원 및 검증 모니터링 및 자동화

Robots.txt 테스터

크롤러가 내 URL에 접근할 수 있는지 확인하세요. 사이트의 실제 robots.txt 또는 게시 전에 붙여넣은 초안을 사용하여 최대 100개의 URL을 여러 사용자 에이전트에 대해 동시에 테스트할 수 있습니다.

결과

대화형 인텔리전스 도구

검사를 실행하고 워크플로로 확장하세요

브라우저 도구로 빠르게 답을 확인한 뒤, 반복 가능한 단계가 되면 같은 로직을 스크립트, 모니터링 또는 제품 흐름으로 옮기세요.

라이브 폼에서 시작

도메인, URL, IP, 이메일 또는 레코드를 입력하면 설정 없이 집중된 결과를 얻을 수 있습니다.

의사결정용 신호 검토

원시 제공자 노이즈 대신 상태, 위험, 레코드, 다음 조치를 강조합니다.

효과가 있는 워크플로 자동화

요청과 응답 예시를 사용해 일회성 검사를 API 호출이나 레시피로 전환하세요.

다음 회사의 사람들이 사용합니다

이 도구가 결정에 도움을 주는 것

각 페이지는 단순 원시 조회가 아니라 실제 운영 질문을 중심으로 구성됩니다.

신호

현재 DNS, 등록, 보안, 가격 또는 평판 증거를 확인합니다.

맥락

관련 검사와 결과를 비교해 다음 조치를 더 신뢰할 수 있게 합니다.

조치

예시를 복사하고 연결된 도구를 열거나 규모가 필요할 때 API 문서로 이동하세요.

연동 전 확인할 수 있는 신뢰 신호

투명한 문서, 인증된 요청, 보이는 안정성 정보로 출시 전에 DomScan을 더 쉽게 평가할 수 있습니다.

서비스 상태 API 자료

OpenAPI, Swagger, Postman, CLI, SDK, MCP 링크를 바로 확인할 수 있습니다.

API 키 보호된 액세스

인증 엔드포인트는 API 키를 사용하며 호출 전 명확한 크레딧 비용을 보여줍니다.

무료 한도 무료로 가입하세요

매월 10,000 크레딧으로 시작하고 사용량이 늘 때만 업그레이드하세요.

활성 예제 요청

curl 및 HTTP 샘플에서 시작한 뒤 매개변수를 애플리케이션 코드에 매핑하세요.

주요 기능

게시 전에 초안 테스트

robots.txt를 붙여넣고 사이트를 변경하지 않은 채 URL이 어떻게 처리되는지 확인하세요.

여러 URL, 여러 크롤러

한 번의 검사로 최대 100개의 URL과 10개의 사용자 에이전트를 확인하며, 모든 조합에 대해 결과를 제공합니다.

결과를 결정하는 규칙

각 결과에는 공식 robots.txt 표준에 따라 일치한 Allow 또는 Disallow 규칙과 해당 줄 번호가 표시됩니다.

예제 요청

POST /v1/robots/test json

{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}

동일한 API를 기반으로 구축

브라우저 경험은 DomScan의 구조화된 엔드포인트를 미리 보여 주므로 팀이 코드를 작성하기 전에 사용 사례를 검증할 수 있습니다.

API 문서 열기 모든 도구

자주 묻는 질문

robots.txt를 게시하기 전에 테스트할 수 있나요?

네. robots.txt 입력란에 내용을 붙여넣으면 사이트에서 아무것도 가져오지 않습니다. 비워 두면 현재 게시된 파일을 테스트합니다.

전체 사용자 에이전트 문자열을 붙여넣어도 되나요?

네. Googlebot이 보내는 것과 같은 전체 문자열은 robots.txt 규칙이 일치시키는 크롤러 이름으로 줄여서 처리됩니다.

알 수 없음은 무슨 뜻인가요?

사이트가 요청을 차단했거나 시간이 초과되는 등의 이유로 실제 robots.txt를 읽을 수 없었다는 뜻입니다. 알 수 없음은 절대 허용으로 간주되지 않으며, 검사에 사용된 크레딧은 환불됩니다.

지원