Mit dem Live-Formular starten
Gib Domain, URL, IP, E-Mail oder Record ein und erhalte ohne Setup ein fokussiertes Ergebnis.
Alle Tools
Webdaten
Domain-Intelligence
DNS und Infrastruktur
Sicherheit und Vertrauen
Identität und Verifizierung
Überwachung und Automatisierung
Robots.txt-Checker
Geben Sie eine Website ein, um ihre robots.txt zu lesen, zu testen, ob ein Crawler einen Pfad abrufen darf, und zu sehen, wie GPTBot, ClaudeBot, PerplexityBot und andere KI-Crawler behandelt werden.
Ergebnisse
Interaktives Intelligence-Tool
Prüfung ausführen und den Workflow produktiv machen
Nutze das Browser-Tool für eine schnelle Antwort und überführe dieselbe Logik in Skripte, Monitoring oder Produktabläufe, sobald sie wiederholbar wird.
Entscheidungsreife Signale prüfen
Die Ausgaben heben Status, Risiken, Records und nächste Schritte hervor statt rohem Provider-Rauschen.
Automatisieren Sie den Workflow, der funktioniert
Nutze Anfrage- und Antwortbeispiele, um einen Einzelcheck in einen API-Aufruf oder ein Rezept zu verwandeln.
Wird von Mitarbeitenden dieser Unternehmen genutzt
Wobei dieses Tool bei der Entscheidung hilft
Jede Seite ist um eine praktische operative Frage gebaut, nicht nur um eine rohe Abfrage.
Sieh aktuelle DNS-, Registrierungs-, Sicherheits-, Preis- oder Reputationsdaten.
Vergleiche das Ergebnis mit verwandten Checks, damit der nächste Schritt vertrauenswürdiger ist.
Kopiere Beispiele, öffne verknüpfte Tools oder wechsle zur API-Dokumentation, wenn du skalieren musst.
Vertrauenssignale vor der Integration
Transparente Dokumentation, authentifizierte Anfragen und sichtbare Zuverlässigkeitsdetails erleichtern die Bewertung von DomScan vor dem Launch.
Dienststatus
API-Artefakte
OpenAPI, Swagger, Postman, CLI, SDK und MCP-Links sind nur einen Klick entfernt.
API-Schlüssel
Geschützter Zugriff
Authentifizierte Endpunkte nutzen API-Schlüssel mit klaren Credit-Kosten vor dem Aufruf.
Kostenloses Kontingent
Kostenlos anmelden
Starte mit 10.000 monatlichen Credits und upgrade erst, wenn die Nutzung wächst.
Aktiv
Beispielanfrage
Starte mit den curl- und HTTP-Beispielen und übertrage die Parameter dann in deinen Anwendungscode.
Hauptfunktionen
Auswertung nach RFC 9309
Gruppen, Allow- und Disallow-Regeln, Platzhalter und Endanker werden so abgeglichen, wie es der Standard beschreibt, wobei die längste Regel gewinnt.
Matrix der KI-Crawler
Zugriff auf das Stammverzeichnis für 14 KI-Crawler, darunter Trainings-, Such- und nutzerinitiierte Agenten von OpenAI, Anthropic, Google, Perplexity und anderen.
Ehrliche Unbekannt-Zustände
Kann die Datei wegen einer Sperre, eines Timeouts oder eines Serverfehlers nicht abgerufen werden, lautet das Ergebnis unbekannt, nie eine stillschweigende Erlaubnis.
Beispielanfrage
GET /v1/robots?url=example.comGET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/Auf derselben API aufgebaut
Die Browser-Erfahrung zeigt die strukturierten DomScan-Endpunkte vorab, damit Teams einen Use Case vor dem Coden validieren können.
Häufig gestellte Fragen
Was passiert, wenn eine Website keine robots.txt hat?
Eine Antwort mit 404 oder 410 bedeutet, dass es keine Crawl-Beschränkungen gibt und alle Pfade erlaubt sind. Der Checker meldet dies als nicht gefunden.
Wie sperre ich KI-Crawler?
Fügen Sie für jeden Crawler, zum Beispiel GPTBot oder ClaudeBot, eine User-Agent-Gruppe mit einer Disallow-Regel hinzu. Die Tabelle der KI-Crawler zeigt, welche Bots Ihre aktuellen Regeln bereits abdecken.
Hält robots.txt alle Bots ab?
Nein. Robots.txt ist eine Bitte, der sich korrekt arbeitende Crawler anschließen. Sie erzwingt keine Zugriffskontrolle, daher benötigen private Inhalte eine Authentifizierung.