Mit dem Live-Formular starten
Gib Domain, URL, IP, E-Mail oder Record ein und erhalte ohne Setup ein fokussiertes Ergebnis.
Alle Tools
Webdaten
Domain-Intelligence
DNS und Infrastruktur
Sicherheit und Vertrauen
Identität und Verifizierung
Überwachung und Automatisierung
Robots.txt-Tester
Prüfen Sie, ob Crawler Ihre URLs aufrufen dürfen. Testen Sie bis zu 100 URLs gleichzeitig gegen mehrere User-Agents, mit der Live-robots.txt einer Website oder einem Entwurf, den Sie vor der Veröffentlichung einfügen.
Ergebnisse
Interaktives Intelligence-Tool
Prüfung ausführen und den Workflow produktiv machen
Nutze das Browser-Tool für eine schnelle Antwort und überführe dieselbe Logik in Skripte, Monitoring oder Produktabläufe, sobald sie wiederholbar wird.
Entscheidungsreife Signale prüfen
Die Ausgaben heben Status, Risiken, Records und nächste Schritte hervor statt rohem Provider-Rauschen.
Automatisieren Sie den Workflow, der funktioniert
Nutze Anfrage- und Antwortbeispiele, um einen Einzelcheck in einen API-Aufruf oder ein Rezept zu verwandeln.
Wird von Mitarbeitenden dieser Unternehmen genutzt
Wobei dieses Tool bei der Entscheidung hilft
Jede Seite ist um eine praktische operative Frage gebaut, nicht nur um eine rohe Abfrage.
Sieh aktuelle DNS-, Registrierungs-, Sicherheits-, Preis- oder Reputationsdaten.
Vergleiche das Ergebnis mit verwandten Checks, damit der nächste Schritt vertrauenswürdiger ist.
Kopiere Beispiele, öffne verknüpfte Tools oder wechsle zur API-Dokumentation, wenn du skalieren musst.
Vertrauenssignale vor der Integration
Transparente Dokumentation, authentifizierte Anfragen und sichtbare Zuverlässigkeitsdetails erleichtern die Bewertung von DomScan vor dem Launch.
Dienststatus
API-Artefakte
OpenAPI, Swagger, Postman, CLI, SDK und MCP-Links sind nur einen Klick entfernt.
API-Schlüssel
Geschützter Zugriff
Authentifizierte Endpunkte nutzen API-Schlüssel mit klaren Credit-Kosten vor dem Aufruf.
Kostenloses Kontingent
Kostenlos anmelden
Starte mit 10.000 monatlichen Credits und upgrade erst, wenn die Nutzung wächst.
Aktiv
Beispielanfrage
Starte mit den curl- und HTTP-Beispielen und übertrage die Parameter dann in deinen Anwendungscode.
Hauptfunktionen
Entwurf vor der Veröffentlichung testen
Fügen Sie eine robots.txt ein und sehen Sie, wie sie Ihre URLs behandelt, ohne etwas an Ihrer Website zu ändern.
Viele URLs, viele Crawler
Bis zu 100 URLs und 10 User-Agents in einer Prüfung, mit einem Ergebnis für jede Kombination.
Die entscheidende Regel
Jedes Ergebnis zeigt die passende Allow- oder Disallow-Regel mit ihrer Zeilennummer, gemäß dem offiziellen robots.txt-Standard.
Beispielanfrage
{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}Auf derselben API aufgebaut
Die Browser-Erfahrung zeigt die strukturierten DomScan-Endpunkte vorab, damit Teams einen Use Case vor dem Coden validieren können.
Häufig gestellte Fragen
Kann ich eine robots.txt testen, bevor sie live geht?
Ja. Fügen Sie den Inhalt in das robots.txt-Feld ein, dann wird nichts von Ihrer Website abgerufen. Lassen Sie es leer, um die aktuell live befindliche Datei zu testen.
Kann ich einen vollständigen User-Agent-String einfügen?
Ja. Ein vollständiger String, wie ihn etwa Googlebot sendet, wird auf den Crawler-Namen reduziert, auf den sich die Regeln in der robots.txt beziehen.
Was bedeutet „unbekannt“?
Die Live-robots.txt konnte nicht gelesen werden, zum Beispiel weil die Website die Anfrage blockiert hat oder eine Zeitüberschreitung auftrat. „Unbekannt“ wird nie als erlaubt gewertet, und die Prüfung wird erstattet.