Tutti gli strumenti Dati web Intelligence sui domini DNS e infrastruttura Sicurezza e affidabilità Identità e verifica Monitoraggio e automazione

Tester Robots.txt

Verifica se i crawler possono visitare i tuoi URL. Testa fino a 100 URL con più user agent contemporaneamente, usando il robots.txt attivo di un sito o una bozza incollata prima di pubblicarla.

Lascia vuoto per testare il robots.txt attivo del sito indicato sopra.

Risultati

        
Strumento interattivo di intelligence

Esegui il controllo, poi porta il workflow in produzione

Usa lo strumento nel browser per una risposta rapida, poi sposta la stessa logica in script, monitoraggio o flussi di prodotto quando diventa ripetibile.

1
Inizia dal modulo live

Inserisci dominio, URL, IP, email o record e ottieni un risultato mirato senza configurazione.

2
Rivedi segnali pronti per decidere

I risultati evidenziano stati, rischi, record e prossime azioni invece del rumore grezzo dei provider.

3
Automatizza il flusso di lavoro che funziona

Usa esempi di richiesta e risposta per trasformare un controllo singolo in una chiamata API o ricetta.

Usato da persone di queste aziende

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse

Cosa ti aiuta a decidere questo strumento

Ogni pagina è costruita intorno a una domanda operativa pratica, non solo a una ricerca grezza.

Segnale

Vedi prove attuali su DNS, registrazione, sicurezza, prezzi o reputazione.

Contesto

Confronta il risultato con controlli collegati per fidarti meglio del passo successivo.

Azione

Copia esempi, apri strumenti collegati o passa alla documentazione API quando serve scala.

Segnali di fiducia prima dell’integrazione

Documentazione trasparente, richieste autenticate e dettagli di affidabilità visibili rendono più semplice valutare DomScan prima del rilascio.

Stato del servizio Artefatti API

OpenAPI, Swagger, Postman, CLI, SDK e link MCP sono a un clic.

Chiavi API Accesso protetto

Gli endpoint autenticati usano chiavi API con costi in crediti chiari prima della chiamata.

Quota gratuita Iscriviti gratis

Inizia con 10.000 crediti mensili e fai upgrade solo quando l’uso cresce.

Attivo Richiesta di esempio

Parti dagli esempi curl e HTTP, poi mappa i parametri nel codice della tua applicazione.

Caratteristiche Principali

Testa una bozza prima di pubblicarla

Incolla un robots.txt e scopri come tratta i tuoi URL senza modificare nulla sul tuo sito.

Molti URL, molti crawler

Fino a 100 URL e 10 user agent in un'unica verifica, con un esito per ogni combinazione.

La regola che decide

Ogni esito mostra la regola Allow o Disallow corrispondente e il numero di riga, secondo lo standard ufficiale di robots.txt.

Richiesta di esempio

POST /v1/robots/test json
{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}

Basato sulla stessa API

L'esperienza browser anticipa gli endpoint strutturati di DomScan, così i team validano un caso d'uso prima di scrivere codice.

Domande frequenti

Posso testare un robots.txt prima che sia online?

Sì. Incolla il contenuto nel campo robots.txt e dal tuo sito non viene scaricato nulla. Lascia il campo vuoto per testare il file attualmente online.

Posso incollare una stringa user agent completa?

Sì. Una stringa completa, come quella inviata da Googlebot, viene ridotta al nome del crawler, che è ciò a cui corrispondono le regole di robots.txt.

Cosa significa sconosciuto?

Non è stato possibile leggere il robots.txt attivo, ad esempio perché il sito ha bloccato la richiesta o è scaduto il tempo. Sconosciuto non viene mai considerato consentito e la verifica viene rimborsata.

Strumenti e risorse correlati