Börja med liveformuläret
Ange domän, URL, IP, e-post eller post och få ett fokuserat resultat utan konfiguration.
Alla verktyg
Webbdata
Domäninformation
DNS och infrastruktur
Säkerhet och tillit
Identitet och verifiering
Övervakning och automatisering
Robots.txt-kontroll
Ange en webbplats för att läsa dess robots.txt, testa om en sökrobot får hämta en sökväg och se hur GPTBot, ClaudeBot, PerplexityBot och andra AI-robotar behandlas.
Resultat
Interaktivt intelligensverktyg
Kör kontrollen och bygg sedan arbetsflödet
Använd webbläsarverktyget för ett snabbt svar och flytta sedan samma logik till skript, övervakning eller produktflöden när den blir återkommande.
Granska beslutsklara signaler
Resultaten lyfter statusar, risker, poster och nästa steg i stället för rått leverantörsbrus.
Automatisera arbetsflödet som fungerar
Använd exempel på begäran och svar för att göra en engångskontroll till ett API-anrop eller recept.
Används av människor på dessa företag
Vad det här verktyget hjälper dig att avgöra
Varje sida är byggd kring en praktisk operativ fråga, inte bara en rå lookup.
Se aktuella bevis för DNS, registrering, säkerhet, prissättning eller rykte.
Jämför resultatet med relaterade kontroller så nästa steg blir lättare att lita på.
Kopiera exempel, öppna länkade verktyg eller gå till API-dokumentation när du behöver skala.
Förtroendesignaler före integration
Transparent dokumentation, autentiserade anrop och synliga tillförlitlighetsdetaljer gör DomScan lättare att utvärdera före lansering.
Tjänstestatus
API-material
OpenAPI, Swagger, Postman, CLI, SDK och MCP-länkar finns ett klick bort.
API-nycklar
Skyddad åtkomst
Autentiserade endpoints använder API-nycklar med tydliga kreditkostnader före anrop.
Gratis kvot
Registrera dig gratis
Börja med 10 000 krediter per månad och uppgradera först när användningen växer.
Aktiv
Exempelbegäran
Börja med curl- och HTTP-exempel och mappa sedan parametrarna till din applikationskod.
Nyckelfunktioner
Tolkning enligt RFC 9309
Grupper, allow- och disallow-regler, jokertecken och slutankare matchas som standarden beskriver, och den längsta regeln vinner.
Matris över AI-robotar
Åtkomst till rotnivån för 14 AI-robotar, inklusive agenter för träning, sökning och användarstyrda hämtningar från OpenAI, Anthropic, Google, Perplexity med flera.
Ärliga okända tillstånd
Om filen inte kan hämtas på grund av blockering, timeout eller serverfel blir resultatet okänt, aldrig ett tyst tillåtande.
Exempelbegäran
GET /v1/robots?url=example.comGET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/Byggt på samma API
Webbläsarupplevelsen förhandsvisar DomScans strukturerade endpoints, så team kan validera ett use case innan de skriver kod.
Vanliga frågor
Vad händer när en webbplats saknar robots.txt?
Ett 404- eller 410-svar innebär att det inte finns några begränsningar för genomsökning, så alla sökvägar är tillåtna. Kontrollen rapporterar detta som ej hittad.
Hur blockerar jag AI-robotar?
Lägg till en user-agent-grupp för varje robot, till exempel GPTBot eller ClaudeBot, med en Disallow-regel. Tabellen över AI-robotar visar vilka botar dina nuvarande regler redan täcker.
Stoppar robots.txt alla botar?
Nej. Robots.txt är en begäran som väluppfostrade sökrobotar följer. Den tillämpar ingen åtkomstkontroll, så privat innehåll kräver autentisering.