Inizia dal modulo live
Inserisci dominio, URL, IP, email o record e ottieni un risultato mirato senza configurazione.
Tutti gli strumenti
Dati web
Intelligence sui domini
DNS e infrastruttura
Sicurezza e affidabilità
Identità e verifica
Monitoraggio e automazione
Verifica robots.txt
Inserisca un sito web per leggerne il robots.txt, verificare se un crawler può accedere a un percorso e vedere come vengono trattati GPTBot, ClaudeBot, PerplexityBot e altri crawler di IA.
Risultati
Strumento interattivo di intelligence
Esegui il controllo, poi porta il workflow in produzione
Usa lo strumento nel browser per una risposta rapida, poi sposta la stessa logica in script, monitoraggio o flussi di prodotto quando diventa ripetibile.
Rivedi segnali pronti per decidere
I risultati evidenziano stati, rischi, record e prossime azioni invece del rumore grezzo dei provider.
Automatizza il flusso di lavoro che funziona
Usa esempi di richiesta e risposta per trasformare un controllo singolo in una chiamata API o ricetta.
Usato da persone di queste aziende
Cosa ti aiuta a decidere questo strumento
Ogni pagina è costruita intorno a una domanda operativa pratica, non solo a una ricerca grezza.
Vedi prove attuali su DNS, registrazione, sicurezza, prezzi o reputazione.
Confronta il risultato con controlli collegati per fidarti meglio del passo successivo.
Copia esempi, apri strumenti collegati o passa alla documentazione API quando serve scala.
Segnali di fiducia prima dell’integrazione
Documentazione trasparente, richieste autenticate e dettagli di affidabilità visibili rendono più semplice valutare DomScan prima del rilascio.
Stato del servizio
Artefatti API
OpenAPI, Swagger, Postman, CLI, SDK e link MCP sono a un clic.
Chiavi API
Accesso protetto
Gli endpoint autenticati usano chiavi API con costi in crediti chiari prima della chiamata.
Quota gratuita
Iscriviti gratis
Inizia con 10.000 crediti mensili e fai upgrade solo quando l’uso cresce.
Attivo
Richiesta di esempio
Parti dagli esempi curl e HTTP, poi mappa i parametri nel codice della tua applicazione.
Caratteristiche Principali
Analisi secondo la RFC 9309
Gruppi, regole Allow e Disallow, caratteri jolly e ancore finali vengono interpretati come descritto dallo standard, con prevalenza della regola più lunga.
Matrice dei crawler di IA
Accesso alla radice per 14 crawler di IA, inclusi agenti di addestramento, di ricerca e avviati dall’utente di OpenAI, Anthropic, Google, Perplexity e altri.
Stati sconosciuti dichiarati con onestà
Se il file non è raggiungibile per un blocco, un timeout o un errore del server, il risultato è sconosciuto, mai un’autorizzazione implicita.
Richiesta di esempio
GET /v1/robots?url=example.comGET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/Basato sulla stessa API
L'esperienza browser anticipa gli endpoint strutturati di DomScan, così i team validano un caso d'uso prima di scrivere codice.
Domande frequenti
Cosa succede se un sito non ha un robots.txt?
Una risposta 404 o 410 significa che non ci sono restrizioni di scansione, quindi ogni percorso è consentito. La verifica lo segnala come non trovato.
Come si bloccano i crawler di IA?
Aggiunga un gruppo user-agent per ogni crawler, ad esempio GPTBot o ClaudeBot, con una regola Disallow. La tabella dei crawler di IA mostra quali bot sono già coperti dalle regole attuali.
Il file robots.txt ferma tutti i bot?
No. Robots.txt è una richiesta che i crawler corretti rispettano. Non applica alcun controllo degli accessi, quindi i contenuti privati richiedono l’autenticazione.