Dati web

API robots.txt

Recuperi e analizzi il robots.txt di qualsiasi sito con una sola richiesta. Ottenga gruppi, regole, sitemap dichiarate, un verdetto di consenso o divieto per uno user-agent e un percorso, e l’accesso alla radice per i principali crawler di IA.

Consulta la documentazione Prova lo strumento gratuito Esplora tutte le API

Endpoint Attivo

GET /v1/robots

Richiesta di esempio

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Risposta di esempio 200 OK

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "Cla
...

Richiesta di esempio GET /v1/robots

Caratteristiche Principali 4

Domande frequenti 4

Codici di stato HTTP 200 / 400 / 401 / 402 / 429 / 502

Categoria Dati web

Endpoint 1

Caratteristiche Principali 4

Domande frequenti 4

Usato da persone di queste aziende

Segnali di fiducia prima dell’integrazione

Documentazione trasparente, richieste autenticate e dettagli di affidabilità visibili rendono più semplice valutare DomScan prima del rilascio.

In tempo reale Stato del servizio

Controlla lo stato del servizio in tempo reale e le risposte di errore documentate prima dell’integrazione.

OpenAPI Artefatti API

OpenAPI, Swagger, Postman, CLI, SDK e link MCP sono a un clic.

Chiavi API Accesso protetto

Gli endpoint autenticati usano chiavi API con costi in crediti chiari prima della chiamata.

10,000 Quota gratuita

Inizia con 10.000 crediti mensili e fai upgrade solo quando l’uso cresce.

Cosa ti aiuta a costruire questa API

Usa questa pagina come brief di produzione: endpoint, esempi, forma della risposta e parti del workflow per integrare DomScan nel tuo prodotto.

Workflow di prodotto

Integra controlli dominio, intelligence DNS, segnali di rischio o arricchimento in onboarding, ricerca e strumenti interni.

Automazione per analisti

Sostituisci lookup manuali ripetuti con job pianificati, alert e passaggi di indagine riproducibili.

Dati JSON puliti

Usa campi prevedibili, codici di stato documentati e costi in crediti invece di fare scraping di pagine provider.

AI e strumenti ops

Alimenta agenti, dashboard, playbook SOAR e CRM tramite OpenAPI, SDK, Postman o MCP.

Workflow di integrazione

Un percorso semplice dalla prima richiesta all’uso ripetibile in produzione.

Autentica una volta

Invia la tua chiave API con l’header documentato e mantieni richieste coerenti tra servizi.

Interroga con esempi

Parti dagli esempi curl e HTTP, poi mappa i parametri nel codice della tua applicazione.

Opera e monitora

Usa codici di stato, costi in crediti e campi di risposta per costruire retry, log e alert.

Kit sviluppatori

Passa da questa pagina a docs leggibili da macchina, raccolte di richieste, SDK o strumenti per agenti.

Schema OpenAPI

Genera client o ispeziona ogni forma di richiesta e risposta.

Collezione Postman

Importa richieste pronte per test manuali e handoff al team.

SDK e CLI

Usa pacchetti mantenuti e workflow da riga di comando invece di scrivere boilerplate.

Integrazione MCP

Esponi intelligence sui domini ad agenti AI e assistenti interni.

Mappa di parametri e risposta

Controlla input, campi di output e codici di stato prima di collegare l’endpoint al tuo client.

Parametri richiesta

Parametro

urldomainuser_agentpathskip_cache

Campi risposta

Risposta di esempio

statussitemapstesttest.user_agenttest.pathtest.allowedtest.matched_ruletest.matched_rule.typetest.matched_rule.pathtest.matched_rule.lineai_crawlers

Copertura stati

Codici di stato HTTP

200400401402429502

Endpoint

GET /v1/robots

Crediti: 1Autenticazione: Autenticazione richiesta

Segnali di fiducia prima dell’integrazione

Documentazione trasparente, richieste autenticate e dettagli di affidabilità visibili rendono più semplice valutare DomScan prima del rilascio.

Stato del servizio Artefatti API

OpenAPI, Swagger, Postman, CLI, SDK e link MCP sono a un clic.

Chiavi API Accesso protetto

Gli endpoint autenticati usano chiavi API con costi in crediti chiari prima della chiamata.

Quota gratuita Iscriviti gratis

Inizia con 10.000 crediti mensili e fai upgrade solo quando l’uso cresce.

Attivo Richiesta di esempio

Parti dagli esempi curl e HTTP, poi mappa i parametri nel codice della tua applicazione.

Caratteristiche Principali

Corrispondenza standard

Le regole sono applicate secondo la RFC 9309: gruppo user-agent più specifico, corrispondenza di percorso più lunga, consenso in caso di parità e supporto per * e $.

Copertura dei crawler di IA

Accesso alla radice per GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot, CCBot e altri, con proprietario e finalità.

Test del percorso

Passi uno user-agent e un percorso per ottenere il verdetto, la regola che lo ha deciso e il gruppo da cui proviene.

Stati di errore chiari

I recuperi bloccati, limitati o falliti restituiscono sconosciuto e vengono rimborsati, quindi una risposta mancante non è mai riportata come consentita.

Richiesta di esempio

GET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/ bash

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Risposta di esempio

200 OK json

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "ClaudeBot", "owner": "anthropic", "root_access": "allowed", "group": "wildcard" }
  ]
}

Domande frequenti

Come viene segnalato un robots.txt mancante?

Una risposta 404 o 410 restituisce not_found, che secondo la RFC 9309 significa che i crawler possono accedere a tutto. Le risposte 401, 403, 429 e 5xx restituiscono unknown.

Quali crawler di IA sono inclusi?

14 agenti di OpenAI, Anthropic, Google, Perplexity, Common Crawl, ByteDance, Apple, Meta e Amazon, raggruppati in addestramento, ricerca o recuperi avviati dall’utente.

Il risultato viene memorizzato nella cache?

I risultati definitivi restano nella cache per 15 minuti. Aggiunga skip_cache=1 per recuperare di nuovo il file. Il test del percorso viene sempre calcolato per la sua richiesta.

Quanti crediti costa?

Un credito per richiesta. Le richieste che terminano in uno stato sconosciuto vengono rimborsate.

Strumenti e risorse correlati

Codici di stato HTTP

Questi sono i codici di stato HTTP da gestire, per distinguere risposte riuscite, problemi di autenticazione, crediti, limiti di frequenza, dati mancanti ed errori a monte.

OK 200

Richiesta riuscita

Richiesta non valida 400

Parametri non validi

Non autorizzato 401

Chiave API o sessione mancante o non valida.

Pagamento richiesto 402

Crediti insufficienti per eseguire questa richiesta.

Troppe richieste 429

Limite di richieste superato

Gateway non valido 502

Errore RDAP upstream

Controlla un robots.txt

Inizia gratis Consulta la documentazione Prova lo strumento gratuito