Dati web

API Tester Robots.txt

Invia un elenco di URL e user agent e ottieni un esito per ogni combinazione. Testa il robots.txt attivo di un sito o una bozza incollata, scopri la regola Allow o Disallow che decide e la sua riga, e individua gli errori di sintassi prima dei crawler.

Consulta la documentazione Prova lo strumento gratuito Esplora tutte le API

Endpoint Attivo

POST /v1/robots/test

Richiesta di esempio

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Risposta di esempio 200 OK

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reas
...

Richiesta di esempio POST /v1/robots/test

Caratteristiche Principali 4

Domande frequenti 4

Codici di stato HTTP 200 / 400 / 401 / 402 / 409 / 422 / 429

Categoria Dati web

Endpoint 1

Caratteristiche Principali 4

Domande frequenti 4

Usato da persone di queste aziende

Segnali di fiducia prima dell’integrazione

Documentazione trasparente, richieste autenticate e dettagli di affidabilità visibili rendono più semplice valutare DomScan prima del rilascio.

In tempo reale Stato del servizio

Controlla lo stato del servizio in tempo reale e le risposte di errore documentate prima dell’integrazione.

OpenAPI Artefatti API

OpenAPI, Swagger, Postman, CLI, SDK e link MCP sono a un clic.

Chiavi API Accesso protetto

Gli endpoint autenticati usano chiavi API con costi in crediti chiari prima della chiamata.

10,000 Quota gratuita

Inizia con 10.000 crediti mensili e fai upgrade solo quando l’uso cresce.

Cosa ti aiuta a costruire questa API

Usa questa pagina come brief di produzione: endpoint, esempi, forma della risposta e parti del workflow per integrare DomScan nel tuo prodotto.

Workflow di prodotto

Integra controlli dominio, intelligence DNS, segnali di rischio o arricchimento in onboarding, ricerca e strumenti interni.

Automazione per analisti

Sostituisci lookup manuali ripetuti con job pianificati, alert e passaggi di indagine riproducibili.

Dati JSON puliti

Usa campi prevedibili, codici di stato documentati e costi in crediti invece di fare scraping di pagine provider.

AI e strumenti ops

Alimenta agenti, dashboard, playbook SOAR e CRM tramite OpenAPI, SDK, Postman o MCP.

Workflow di integrazione

Un percorso semplice dalla prima richiesta all’uso ripetibile in produzione.

Autentica una volta

Invia la tua chiave API con l’header documentato e mantieni richieste coerenti tra servizi.

Interroga con esempi

Parti dagli esempi curl e HTTP, poi mappa i parametri nel codice della tua applicazione.

Opera e monitora

Usa codici di stato, costi in crediti e campi di risposta per costruire retry, log e alert.

Kit sviluppatori

Passa da questa pagina a docs leggibili da macchina, raccolte di richieste, SDK o strumenti per agenti.

Schema OpenAPI

Genera client o ispeziona ogni forma di richiesta e risposta.

Collezione Postman

Importa richieste pronte per test manuali e handoff al team.

SDK e CLI

Usa pacchetti mantenuti e workflow da riga di comando invece di scrivere boilerplate.

Integrazione MCP

Esponi intelligence sui domini ad agenti AI e assistenti interni.

Mappa di parametri e risposta

Controlla input, campi di output e codici di stato prima di collegare l’endpoint al tuo client.

Parametri richiesta

Parametro

robots_txturlurlsuser_agents

Campi risposta

Risposta di esempio

sourcestatussummarysummary.testssummary.allowedsummary.disallowedsummary.unknownresultsissues

Copertura stati

Codici di stato HTTP

200400401402409422429

Endpoint

POST /v1/robots/test

Crediti: 1Autenticazione: Autenticazione richiesta

Segnali di fiducia prima dell’integrazione

Documentazione trasparente, richieste autenticate e dettagli di affidabilità visibili rendono più semplice valutare DomScan prima del rilascio.

Stato del servizio Artefatti API

OpenAPI, Swagger, Postman, CLI, SDK e link MCP sono a un clic.

Chiavi API Accesso protetto

Gli endpoint autenticati usano chiavi API con costi in crediti chiari prima della chiamata.

Quota gratuita Iscriviti gratis

Inizia con 10.000 crediti mensili e fai upgrade solo quando l’uso cresce.

Attivo Richiesta di esempio

Parti dagli esempi curl e HTTP, poi mappa i parametri nel codice della tua applicazione.

Caratteristiche Principali

File incollato o attivo

Invia robots_txt per testare una bozza senza scaricare nulla, oppure invia url per testare il file attivo sul sito.

Esiti in blocco

Fino a 100 URL e 10 user agent per richiesta, con totali per crawler e una riga per ogni combinazione.

Corrispondenza standard

Le regole vengono applicate come descritto dallo standard ufficiale di robots.txt (RFC 9309): vince la corrispondenza più lunga, Allow prevale a parità e sono supportati i caratteri jolly * e $.

Controlli di sintassi

Refusi, regole fuori da un gruppo, righe non valide e altri problemi vengono elencati con il numero di riga.

Richiesta di esempio

POST /v1/robots/test bash

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Risposta di esempio

200 OK json

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reason": "matched_disallow",
      "matched_rule": { "type": "disallow", "path": "/admin/", "line": 5 }
    }
  ],
  "issues": [{ "code": "directive_typo", "count": 1, "lines": [9] }]
}

Domande frequenti

In cosa si differenzia dall'API Robots.txt?

L'API Robots.txt legge il file attivo di un sito e testa un crawler e un percorso. Il tester verifica molti URL e crawler in una sola richiesta e può anche testare un robots.txt incollato da te.

Quale user agent viene confrontato?

Il nome del crawler, senza distinzione tra maiuscole e minuscole. Una stringa completa in stile browser, come quella di Googlebot, viene prima ridotta al nome del crawler, e la risposta mostra il nome utilizzato.

Cosa succede con gli URL di un altro host?

Quando si usa il file attivo, un URL su un host diverso da quello del sito viene segnalato come other_host senza un esito, perché ogni host ha il proprio robots.txt.

Quanto costa?

1 credito per richiesta, fino a 1.000 esiti. Quando il robots.txt attivo non può essere letto, gli esiti sono sconosciuti e il credito viene rimborsato.

Strumenti e risorse correlati

Codici di stato HTTP

Questi sono i codici di stato HTTP da gestire, per distinguere risposte riuscite, problemi di autenticazione, crediti, limiti di frequenza, dati mancanti ed errori a monte.

OK 200

Richiesta riuscita

Richiesta non valida 400

Parametri non validi

Non autorizzato 401

Chiave API o sessione mancante o non valida.

Pagamento richiesto 402

Crediti insufficienti per eseguire questa richiesta.

HTTP 409 409

Questi sono i codici di stato HTTP da gestire, per distinguere risposte riuscite, problemi di autenticazione, crediti, limiti di frequenza, dati mancanti ed errori a monte.

HTTP 422 422

Questi sono i codici di stato HTTP da gestire, per distinguere risposte riuscite, problemi di autenticazione, crediti, limiti di frequenza, dati mancanti ed errori a monte.

Troppe richieste 429

Limite di richieste superato

Testa il tuo robots.txt

Inizia gratis Consulta la documentazione Prova lo strumento gratuito