웹 데이터

Robots.txt 테스터 API

URL과 사용자 에이전트 목록을 보내면 모든 조합에 대한 결과를 받을 수 있습니다. 사이트의 실제 robots.txt 또는 붙여넣은 초안을 테스트하고, 결과를 결정하는 Allow 또는 Disallow 규칙과 해당 줄을 확인하며, 크롤러가 발견하기 전에 구문 오류를 찾아내세요.

문서 보기 무료 도구 사용해 보기 모든 API 살펴보기

엔드포인트 활성

POST /v1/robots/test

예제 요청

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

예제 응답 200 OK

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reas
...

예제 요청 POST /v1/robots/test

주요 기능 4

자주 묻는 질문 4

HTTP 상태 코드 200 / 400 / 401 / 402 / 409 / 422 / 429

카테고리 웹 데이터

엔드포인트 1

주요 기능 4

자주 묻는 질문 4

다음 회사의 사람들이 사용합니다

연동 전 확인할 수 있는 신뢰 신호

투명한 문서, 인증된 요청, 보이는 안정성 정보로 출시 전에 DomScan을 더 쉽게 평가할 수 있습니다.

실시간 서비스 상태

통합하기 전에 실시간 서비스 상태와 문서화된 실패 응답을 확인하세요.

OpenAPI API 자료

OpenAPI, Swagger, Postman, CLI, SDK, MCP 링크를 바로 확인할 수 있습니다.

API 키 보호된 액세스

인증 엔드포인트는 API 키를 사용하며 호출 전 명확한 크레딧 비용을 보여줍니다.

10,000 무료 한도

매월 10,000 크레딧으로 시작하고 사용량이 늘 때만 업그레이드하세요.

이 API로 만들 수 있는 것

이 페이지를 프로덕션 요약으로 사용하세요. 엔드포인트, 예제, 응답 구조, DomScan을 제품에 연결하는 워크플로 구성 요소를 제공합니다.

제품 워크플로

도메인 검사, DNS 인텔리전스, 위험 신호 또는 보강 데이터를 온보딩, 검색, 내부 도구에 포함하세요.

분석가 자동화

반복적인 수동 조회를 예약 작업, 알림, 재현 가능한 조사 단계로 대체하세요.

깔끔한 JSON 데이터

제공자 페이지를 스크래핑하지 않고 예측 가능한 필드, 문서화된 상태 코드, 크레딧 비용을 사용하세요.

AI 및 운영 도구

OpenAPI, SDK, Postman 또는 MCP를 통해 에이전트, 대시보드, SOAR 플레이북, CRM에 데이터를 공급하세요.

통합 워크플로

첫 요청부터 반복 가능한 프로덕션 사용까지의 단순한 경로입니다.

한 번 인증

문서화된 헤더로 API 키를 보내고 서비스 전반에서 요청을 일관되게 유지하세요.

예제로 조회

curl 및 HTTP 샘플에서 시작한 뒤 매개변수를 애플리케이션 코드에 매핑하세요.

운영 및 모니터링

상태 코드, 크레딧 비용, 응답 필드를 사용해 재시도, 로그, 알림을 구축하세요.

개발자 키트

이 페이지에서 기계 판독 문서, 요청 컬렉션, SDK 또는 에이전트 도구로 바로 이동하세요.

OpenAPI 스키마

클라이언트를 생성하거나 모든 요청 및 응답 구조를 확인하세요.

Postman 컬렉션

수동 테스트와 팀 인계를 위한 준비된 요청을 가져오세요.

SDK 및 CLI

보일러플레이트 대신 유지관리되는 패키지와 명령줄 워크플로를 사용하세요.

MCP 통합

도메인 인텔리전스를 AI 에이전트와 내부 어시스턴트 워크플로에 노출하세요.

매개변수 및 응답 맵

엔드포인트를 클라이언트에 연결하기 전에 입력, 출력 필드, 상태 코드를 확인하세요.

요청 매개변수

매개변수

robots_txturlurlsuser_agents

응답 필드

예제 응답

sourcestatussummarysummary.testssummary.allowedsummary.disallowedsummary.unknownresultsissues

상태 범위

HTTP 상태 코드

200400401402409422429

엔드포인트

POST /v1/robots/test

크레딧: 1인증: 인증이 필요합니다

연동 전 확인할 수 있는 신뢰 신호

투명한 문서, 인증된 요청, 보이는 안정성 정보로 출시 전에 DomScan을 더 쉽게 평가할 수 있습니다.

서비스 상태 API 자료

OpenAPI, Swagger, Postman, CLI, SDK, MCP 링크를 바로 확인할 수 있습니다.

API 키 보호된 액세스

인증 엔드포인트는 API 키를 사용하며 호출 전 명확한 크레딧 비용을 보여줍니다.

무료 한도 무료로 가입하세요

매월 10,000 크레딧으로 시작하고 사용량이 늘 때만 업그레이드하세요.

활성 예제 요청

curl 및 HTTP 샘플에서 시작한 뒤 매개변수를 애플리케이션 코드에 매핑하세요.

주요 기능

붙여넣은 파일 또는 실제 파일

robots_txt를 보내면 아무것도 가져오지 않고 초안을 테스트하고, url을 보내면 사이트에 게시된 실제 파일을 테스트합니다.

일괄 결과

요청당 최대 100개의 URL과 10개의 사용자 에이전트를 지원하며, 크롤러별 합계와 모든 조합의 행을 제공합니다.

표준에 따른 매칭

규칙은 공식 robots.txt 표준(RFC 9309)에 따라 일치시킵니다. 가장 긴 일치가 우선하고, 동점이면 Allow가 우선하며, * 및 $ 와일드카드를 지원합니다.

구문 검사

오타, 그룹 밖의 규칙, 잘못된 줄 등의 문제를 줄 번호와 함께 보여 드립니다.

예제 요청

POST /v1/robots/test bash

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

예제 응답

200 OK json

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reason": "matched_disallow",
      "matched_rule": { "type": "disallow", "path": "/admin/", "line": 5 }
    }
  ],
  "issues": [{ "code": "directive_typo", "count": 1, "lines": [9] }]
}

자주 묻는 질문

Robots.txt API와는 무엇이 다른가요?

Robots.txt API는 사이트의 실제 파일을 읽어 하나의 크롤러와 하나의 경로를 테스트합니다. 테스터는 한 번의 요청으로 여러 URL과 크롤러를 검사하며, 직접 붙여넣은 robots.txt도 테스트할 수 있습니다.

어떤 사용자 에이전트가 일치되나요?

대소문자를 구분하지 않는 크롤러 이름입니다. Googlebot의 문자열처럼 브라우저 형식의 전체 문자열은 먼저 크롤러 이름으로 줄여서 처리되며, 응답에는 실제로 사용된 이름이 표시됩니다.

다른 호스트의 URL은 어떻게 처리되나요?

실제 파일을 사용할 때 사이트와 다른 호스트의 URL은 호스트마다 고유한 robots.txt가 있으므로 결과 없이 other_host로 보고됩니다.

비용은 얼마인가요?

요청당 1크레딧이며, 최대 1,000개의 결과를 포함합니다. 실제 robots.txt를 읽을 수 없는 경우 결과는 알 수 없음으로 처리되고 크레딧은 환불됩니다.

HTTP 상태 코드

다음은 처리해야 할 HTTP 상태 코드입니다. 성공 응답, 인증 문제, 크레딧, 속도 제한, 누락된 데이터, 업스트림 장애를 구분하는 데 사용하세요.

성공 200

요청 성공

잘못된 요청 400

잘못된 매개변수

인증되지 않음 401

API 키 또는 세션이 없거나 유효하지 않습니다.

결제 필요 402

이 요청을 실행할 크레딧이 부족합니다.

HTTP 409 409

다음은 처리해야 할 HTTP 상태 코드입니다. 성공 응답, 인증 문제, 크레딧, 속도 제한, 누락된 데이터, 업스트림 장애를 구분하는 데 사용하세요.

HTTP 422 422

다음은 처리해야 할 HTTP 상태 코드입니다. 성공 응답, 인증 문제, 크레딧, 속도 제한, 누락된 데이터, 업스트림 장애를 구분하는 데 사용하세요.

요청 과다 429

속도 제한 초과

내 robots.txt 테스트하기

무료로 시작 문서 보기 무료 도구 사용해 보기

연동 전 확인할 수 있는 신뢰 신호

이 API로 만들 수 있는 것

통합 워크플로

개발자 키트

매개변수 및 응답 맵

엔드포인트

연동 전 확인할 수 있는 신뢰 신호

주요 기능

예제 요청

예제 응답

자주 묻는 질문

관련 도구 및 리소스

HTTP 상태 코드