Webdaten

Robots.txt-Tester-API

Senden Sie eine Liste von URLs und User-Agents und erhalten Sie ein Ergebnis für jede Kombination. Testen Sie die Live-robots.txt einer Website oder einen eingefügten Entwurf, sehen Sie die entscheidende Allow- oder Disallow-Regel samt Zeile und finden Sie Syntaxfehler, bevor es Crawler tun.

Dokumentation anzeigen Kostenloses Tool testen Alle APIs entdecken

Endpunkte Aktiv

POST /v1/robots/test

Beispielanfrage

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Beispielantwort 200 OK

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reas
...

Beispielanfrage POST /v1/robots/test

Hauptfunktionen 4

Häufig gestellte Fragen 4

HTTP-Statuscodes 200 / 400 / 401 / 402 / 409 / 422 / 429

Kategorie Webdaten

Endpunkte 1

Hauptfunktionen 4

Häufig gestellte Fragen 4

Wird von Mitarbeitenden dieser Unternehmen genutzt

Vertrauenssignale vor der Integration

Transparente Dokumentation, authentifizierte Anfragen und sichtbare Zuverlässigkeitsdetails erleichtern die Bewertung von DomScan vor dem Launch.

Live Dienststatus

Prüfen Sie vor der Integration den aktuellen Dienstzustand und die dokumentierten Fehlerantworten.

OpenAPI API-Artefakte

OpenAPI, Swagger, Postman, CLI, SDK und MCP-Links sind nur einen Klick entfernt.

API-Schlüssel Geschützter Zugriff

Authentifizierte Endpunkte nutzen API-Schlüssel mit klaren Credit-Kosten vor dem Aufruf.

10,000 Kostenloses Kontingent

Starte mit 10.000 monatlichen Credits und upgrade erst, wenn die Nutzung wächst.

Wobei diese API beim Bauen hilft

Nutze diese Seite als Produktionsbriefing: Endpoints, Beispiele, Antwortstruktur und Workflow-Bausteine, um DomScan in dein Produkt einzubinden.

Produkt-Workflows

Bette Domainchecks, DNS-Intelligence, Risikosignale oder Anreicherung in Onboarding, Suche und interne Tools ein.

Analysten-Automatisierung

Ersetze wiederholte manuelle Lookups durch geplante Jobs, Alerts und reproduzierbare Untersuchungsschritte.

Saubere JSON-Daten

Nutze vorhersehbare Felder, dokumentierte Statuscodes und Credit-Kosten statt Provider-Seiten zu scrapen.

KI- und Ops-Tools

Versorge Agenten, Dashboards, SOAR-Playbooks und CRMs über OpenAPI, SDK, Postman oder MCP.

Integrationsablauf

Ein einfacher Weg von der ersten Anfrage bis zur wiederholbaren Nutzung in Produktion.

Einmal authentifizieren

Sende deinen API-Schlüssel mit dem dokumentierten Header und halte Anfragen über Services hinweg konsistent.

Mit Beispielen abfragen

Starte mit den curl- und HTTP-Beispielen und übertrage die Parameter dann in deinen Anwendungscode.

Betreiben und überwachen

Nutze Statuscodes, Credit-Kosten und Antwortfelder, um Retries, Logs und Alerts zu bauen.

Developer-Kit

Wechsle von dieser Seite zu maschinenlesbaren Docs, Request-Sammlungen, SDKs oder Agenten-Tools.

OpenAPI-Schema

Generiere Clients oder prüfe jede Request- und Response-Struktur.

Postman-Collection

Importiere fertige Requests für manuelle Tests und Team-Handoff.

SDKs und CLI

Nutze gepflegte Pakete und Kommandozeilen-Workflows statt Boilerplate zu schreiben.

MCP-Integration

Stelle Domain-Intelligence für KI-Agenten und interne Assistenten bereit.

Parameter- und Antwortkarte

Prüfe Eingaben, Ausgabefelder und Statuscodes, bevor du den Endpoint in deinen Client einbindest.

Request-Parameter

Parameter

robots_txturlurlsuser_agents

Antwortfelder

Beispielantwort

sourcestatussummarysummary.testssummary.allowedsummary.disallowedsummary.unknownresultsissues

Statusabdeckung

HTTP-Statuscodes

200400401402409422429

Endpunkte

POST /v1/robots/test

Credits: 1Authentifizierung: Authentifizierung erforderlich

Vertrauenssignale vor der Integration

Transparente Dokumentation, authentifizierte Anfragen und sichtbare Zuverlässigkeitsdetails erleichtern die Bewertung von DomScan vor dem Launch.

Dienststatus API-Artefakte

OpenAPI, Swagger, Postman, CLI, SDK und MCP-Links sind nur einen Klick entfernt.

API-Schlüssel Geschützter Zugriff

Authentifizierte Endpunkte nutzen API-Schlüssel mit klaren Credit-Kosten vor dem Aufruf.

Kostenloses Kontingent Kostenlos anmelden

Starte mit 10.000 monatlichen Credits und upgrade erst, wenn die Nutzung wächst.

Aktiv Beispielanfrage

Starte mit den curl- und HTTP-Beispielen und übertrage die Parameter dann in deinen Anwendungscode.

Hauptfunktionen

Eingefügte oder Live-Datei

Senden Sie robots_txt, um einen Entwurf ohne Abruf zu testen, oder url, um die auf der Website live befindliche Datei zu testen.

Ergebnisse im Bulk

Bis zu 100 URLs und 10 User-Agents pro Anfrage, mit Summen pro Crawler und einer Zeile für jede Kombination.

Standardkonformer Abgleich

Regeln werden so abgeglichen, wie es der offizielle robots.txt-Standard (RFC 9309) beschreibt: Der längste Treffer gewinnt, bei Gleichstand gewinnt Allow, und die Wildcards * und $ werden unterstützt.

Syntaxprüfungen

Tippfehler, Regeln außerhalb einer Gruppe, ungültige Zeilen und weitere Probleme werden mit ihren Zeilennummern aufgelistet.

Beispielanfrage

POST /v1/robots/test bash

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Beispielantwort

200 OK json

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reason": "matched_disallow",
      "matched_rule": { "type": "disallow", "path": "/admin/", "line": 5 }
    }
  ],
  "issues": [{ "code": "directive_typo", "count": 1, "lines": [9] }]
}

Häufig gestellte Fragen

Wie unterscheidet sich das von der Robots.txt-API?

Die Robots.txt-API liest die Live-Datei einer Website und testet einen Crawler und einen Pfad. Der Tester prüft viele URLs und Crawler in einer Anfrage und kann auch eine von Ihnen eingefügte robots.txt testen.

Welcher User-Agent wird abgeglichen?

Der Crawler-Name, ohne Beachtung der Groß- und Kleinschreibung. Ein vollständiger String im Browser-Stil, etwa der von Googlebot, wird zuerst auf seinen Crawler-Namen reduziert, und die Antwort zeigt den verwendeten Namen.

Was passiert mit URLs auf einem anderen Host?

Wenn die Live-Datei verwendet wird, wird eine URL auf einem anderen Host als dem der Website ohne Ergebnis als other_host gemeldet, da jeder Host seine eigene robots.txt hat.

Was kostet das?

1 Credit pro Anfrage, für bis zu 1.000 Ergebnisse. Wenn die Live-robots.txt nicht gelesen werden kann, sind die Ergebnisse unbekannt und der Credit wird erstattet.

HTTP-Statuscodes

Das sind die HTTP-Statuscodes, die Sie behandeln sollten, damit Sie erfolgreiche Antworten, Authentifizierungsprobleme, Credits, Ratenlimits, fehlende Daten und Upstream-Fehler unterscheiden können.

OK 200

Anfrage erfolgreich

Ungültige Anfrage 400

Ungültige Parameter

Nicht autorisiert 401

API-Schlüssel oder Sitzung fehlt oder ist ungültig.

Zahlung erforderlich 402

Nicht genügend Credits für diese Anfrage.

HTTP 409 409

Das sind die HTTP-Statuscodes, die Sie behandeln sollten, damit Sie erfolgreiche Antworten, Authentifizierungsprobleme, Credits, Ratenlimits, fehlende Daten und Upstream-Fehler unterscheiden können.

HTTP 422 422

Das sind die HTTP-Statuscodes, die Sie behandeln sollten, damit Sie erfolgreiche Antworten, Authentifizierungsprobleme, Credits, Ratenlimits, fehlende Daten und Upstream-Fehler unterscheiden können.

Zu viele Anfragen 429

Ratenlimit überschritten

Testen Sie Ihre robots.txt

Kostenlos starten Dokumentation anzeigen Kostenloses Tool testen

Support

Robots.txt-Tester-API

Vertrauenssignale vor der Integration

Wobei diese API beim Bauen hilft

Integrationsablauf

Developer-Kit

Parameter- und Antwortkarte

Endpunkte

Vertrauenssignale vor der Integration

Hauptfunktionen

Beispielanfrage

Beispielantwort

Häufig gestellte Fragen

Verwandte Tools und Ressourcen

HTTP-Statuscodes