Inserisci dominio, URL, IP, email o record e ottieni un risultato mirato senza configurazione.
Tester Robots.txt
Verifica se i crawler possono visitare i tuoi URL. Testa fino a 100 URL con più user agent contemporaneamente, usando il robots.txt attivo di un sito o una bozza incollata prima di pubblicarla.
Esegui il controllo, poi porta il workflow in produzione
Usa lo strumento nel browser per una risposta rapida, poi sposta la stessa logica in script, monitoraggio o flussi di prodotto quando diventa ripetibile.
I risultati evidenziano stati, rischi, record e prossime azioni invece del rumore grezzo dei provider.
Usa esempi di richiesta e risposta per trasformare un controllo singolo in una chiamata API o ricetta.
Usato da persone di queste aziende
Cosa ti aiuta a decidere questo strumento
Ogni pagina è costruita intorno a una domanda operativa pratica, non solo a una ricerca grezza.
Vedi prove attuali su DNS, registrazione, sicurezza, prezzi o reputazione.
Confronta il risultato con controlli collegati per fidarti meglio del passo successivo.
Copia esempi, apri strumenti collegati o passa alla documentazione API quando serve scala.
Segnali di fiducia prima dell’integrazione
Documentazione trasparente, richieste autenticate e dettagli di affidabilità visibili rendono più semplice valutare DomScan prima del rilascio.
OpenAPI, Swagger, Postman, CLI, SDK e link MCP sono a un clic.
Gli endpoint autenticati usano chiavi API con costi in crediti chiari prima della chiamata.
Inizia con 10.000 crediti mensili e fai upgrade solo quando l’uso cresce.
Parti dagli esempi curl e HTTP, poi mappa i parametri nel codice della tua applicazione.
Caratteristiche Principali
Incolla un robots.txt e scopri come tratta i tuoi URL senza modificare nulla sul tuo sito.
Fino a 100 URL e 10 user agent in un'unica verifica, con un esito per ogni combinazione.
Ogni esito mostra la regola Allow o Disallow corrispondente e il numero di riga, secondo lo standard ufficiale di robots.txt.
Richiesta di esempio
{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}
Basato sulla stessa API
L'esperienza browser anticipa gli endpoint strutturati di DomScan, così i team validano un caso d'uso prima di scrivere codice.
Domande frequenti
Sì. Incolla il contenuto nel campo robots.txt e dal tuo sito non viene scaricato nulla. Lascia il campo vuoto per testare il file attualmente online.
Sì. Una stringa completa, come quella inviata da Googlebot, viene ridotta al nome del crawler, che è ciò a cui corrispondono le regole di robots.txt.
Non è stato possibile leggere il robots.txt attivo, ad esempio perché il sito ha bloccato la richiesta o è scaduto il tempo. Sconosciuto non viene mai considerato consentito e la verifica viene rimborsata.

