Alla verktyg Webbdata Domäninformation DNS och infrastruktur Säkerhet och tillit Identitet och verifiering Övervakning och automatisering

Robots.txt-testare

Kontrollera om crawlers får besöka dina URL:er. Testa upp till 100 URL:er mot flera user agents samtidigt, med en webbplats aktiva robots.txt eller ett utkast som du klistrar in innan du publicerar det.

Resultat

Interaktivt intelligensverktyg

Kör kontrollen och bygg sedan arbetsflödet

Använd webbläsarverktyget för ett snabbt svar och flytta sedan samma logik till skript, övervakning eller produktflöden när den blir återkommande.

Börja med liveformuläret

Ange domän, URL, IP, e-post eller post och få ett fokuserat resultat utan konfiguration.

Granska beslutsklara signaler

Resultaten lyfter statusar, risker, poster och nästa steg i stället för rått leverantörsbrus.

Automatisera arbetsflödet som fungerar

Använd exempel på begäran och svar för att göra en engångskontroll till ett API-anrop eller recept.

Används av människor på dessa företag

Vad det här verktyget hjälper dig att avgöra

Varje sida är byggd kring en praktisk operativ fråga, inte bara en rå lookup.

Signal

Se aktuella bevis för DNS, registrering, säkerhet, prissättning eller rykte.

Kontext

Jämför resultatet med relaterade kontroller så nästa steg blir lättare att lita på.

Åtgärd

Kopiera exempel, öppna länkade verktyg eller gå till API-dokumentation när du behöver skala.

Förtroendesignaler före integration

Transparent dokumentation, autentiserade anrop och synliga tillförlitlighetsdetaljer gör DomScan lättare att utvärdera före lansering.

Tjänstestatus API-material

OpenAPI, Swagger, Postman, CLI, SDK och MCP-länkar finns ett klick bort.

API-nycklar Skyddad åtkomst

Autentiserade endpoints använder API-nycklar med tydliga kreditkostnader före anrop.

Gratis kvot Registrera dig gratis

Börja med 10 000 krediter per månad och uppgradera först när användningen växer.

Aktiv Exempelbegäran

Börja med curl- och HTTP-exempel och mappa sedan parametrarna till din applikationskod.

Nyckelfunktioner

Testa ett utkast innan publicering

Klistra in en robots.txt och se hur den behandlar dina URL:er utan att ändra något på din webbplats.

Många URL:er, många crawlers

Upp till 100 URL:er och 10 user agents i en och samma kontroll, med ett utlåtande för varje kombination.

Regeln som avgör

Varje utlåtande visar den matchande Allow- eller Disallow-regeln och dess radnummer, enligt den officiella robots.txt-standarden.

Exempelbegäran

POST /v1/robots/test json

{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}

Byggt på samma API

Webbläsarupplevelsen förhandsvisar DomScans strukturerade endpoints, så team kan validera ett use case innan de skriver kod.

Öppna API-dokumentation Alla verktyg

Vanliga frågor

Kan jag testa en robots.txt innan den publiceras?

Ja. Klistra in innehållet i robots.txt-rutan så hämtas ingenting från din webbplats. Lämna den tom för att testa filen som är aktiv just nu.

Kan jag klistra in en fullständig user agent-sträng?

Ja. En fullständig sträng, till exempel den som Googlebot skickar, reduceras till crawlerns namn, vilket är det som robots.txt-reglerna matchar mot.

Vad betyder okänt?

Den aktiva robots.txt-filen kunde inte läsas, till exempel för att webbplatsen blockerade förfrågan eller att tidsgränsen överskreds. Okänt behandlas aldrig som tillåtet, och kontrollen återbetalas.

Support