Webdaten

Robots.txt-API

Rufen Sie die robots.txt jeder Website mit einer einzigen Anfrage ab und werten Sie sie aus. Sie erhalten Crawler-Gruppen, Regeln, deklarierte Sitemaps, ein Erlaubt- oder Gesperrt-Urteil für einen User-Agent und Pfad sowie den Zugriff auf das Stammverzeichnis für die wichtigsten KI-Crawler.

Dokumentation anzeigen Kostenloses Tool testen Alle APIs entdecken

Endpunkte Aktiv

GET /v1/robots

Beispielanfrage

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Beispielantwort 200 OK

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "Cla
...

Beispielanfrage GET /v1/robots

Hauptfunktionen 4

Häufig gestellte Fragen 4

HTTP-Statuscodes 200 / 400 / 401 / 402 / 429 / 502

Kategorie Webdaten

Endpunkte 1

Hauptfunktionen 4

Häufig gestellte Fragen 4

Wird von Mitarbeitenden dieser Unternehmen genutzt

Vertrauenssignale vor der Integration

Transparente Dokumentation, authentifizierte Anfragen und sichtbare Zuverlässigkeitsdetails erleichtern die Bewertung von DomScan vor dem Launch.

Live Dienststatus

Prüfen Sie vor der Integration den aktuellen Dienstzustand und die dokumentierten Fehlerantworten.

OpenAPI API-Artefakte

OpenAPI, Swagger, Postman, CLI, SDK und MCP-Links sind nur einen Klick entfernt.

API-Schlüssel Geschützter Zugriff

Authentifizierte Endpunkte nutzen API-Schlüssel mit klaren Credit-Kosten vor dem Aufruf.

10,000 Kostenloses Kontingent

Starte mit 10.000 monatlichen Credits und upgrade erst, wenn die Nutzung wächst.

Wobei diese API beim Bauen hilft

Nutze diese Seite als Produktionsbriefing: Endpoints, Beispiele, Antwortstruktur und Workflow-Bausteine, um DomScan in dein Produkt einzubinden.

Produkt-Workflows

Bette Domainchecks, DNS-Intelligence, Risikosignale oder Anreicherung in Onboarding, Suche und interne Tools ein.

Analysten-Automatisierung

Ersetze wiederholte manuelle Lookups durch geplante Jobs, Alerts und reproduzierbare Untersuchungsschritte.

Saubere JSON-Daten

Nutze vorhersehbare Felder, dokumentierte Statuscodes und Credit-Kosten statt Provider-Seiten zu scrapen.

KI- und Ops-Tools

Versorge Agenten, Dashboards, SOAR-Playbooks und CRMs über OpenAPI, SDK, Postman oder MCP.

Integrationsablauf

Ein einfacher Weg von der ersten Anfrage bis zur wiederholbaren Nutzung in Produktion.

Einmal authentifizieren

Sende deinen API-Schlüssel mit dem dokumentierten Header und halte Anfragen über Services hinweg konsistent.

Mit Beispielen abfragen

Starte mit den curl- und HTTP-Beispielen und übertrage die Parameter dann in deinen Anwendungscode.

Betreiben und überwachen

Nutze Statuscodes, Credit-Kosten und Antwortfelder, um Retries, Logs und Alerts zu bauen.

Developer-Kit

Wechsle von dieser Seite zu maschinenlesbaren Docs, Request-Sammlungen, SDKs oder Agenten-Tools.

OpenAPI-Schema

Generiere Clients oder prüfe jede Request- und Response-Struktur.

Postman-Collection

Importiere fertige Requests für manuelle Tests und Team-Handoff.

SDKs und CLI

Nutze gepflegte Pakete und Kommandozeilen-Workflows statt Boilerplate zu schreiben.

MCP-Integration

Stelle Domain-Intelligence für KI-Agenten und interne Assistenten bereit.

Parameter- und Antwortkarte

Prüfe Eingaben, Ausgabefelder und Statuscodes, bevor du den Endpoint in deinen Client einbindest.

Request-Parameter

Parameter

urldomainuser_agentpathskip_cache

Antwortfelder

Beispielantwort

statussitemapstesttest.user_agenttest.pathtest.allowedtest.matched_ruletest.matched_rule.typetest.matched_rule.pathtest.matched_rule.lineai_crawlers

Statusabdeckung

HTTP-Statuscodes

200400401402429502

Endpunkte

GET /v1/robots

Credits: 1Authentifizierung: Authentifizierung erforderlich

Vertrauenssignale vor der Integration

Transparente Dokumentation, authentifizierte Anfragen und sichtbare Zuverlässigkeitsdetails erleichtern die Bewertung von DomScan vor dem Launch.

Dienststatus API-Artefakte

OpenAPI, Swagger, Postman, CLI, SDK und MCP-Links sind nur einen Klick entfernt.

API-Schlüssel Geschützter Zugriff

Authentifizierte Endpunkte nutzen API-Schlüssel mit klaren Credit-Kosten vor dem Aufruf.

Kostenloses Kontingent Kostenlos anmelden

Starte mit 10.000 monatlichen Credits und upgrade erst, wenn die Nutzung wächst.

Aktiv Beispielanfrage

Starte mit den curl- und HTTP-Beispielen und übertrage die Parameter dann in deinen Anwendungscode.

Hauptfunktionen

Standardkonformer Abgleich

Regeln werden nach RFC 9309 abgeglichen: die spezifischste User-Agent-Gruppe, die längste Pfadübereinstimmung, Allow bei Gleichstand und Unterstützung für * und $.

Abdeckung der KI-Crawler

Zugriff auf das Stammverzeichnis für GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot, CCBot und weitere, mit Betreiber und Zweck.

Pfadtest

Übergeben Sie einen User-Agent und einen Pfad, um das Urteil, die entscheidende Regel und die zugehörige Gruppe zu erhalten.

Klare Fehlerzustände

Gesperrte, ratenbegrenzte und fehlgeschlagene Abrufe liefern unknown und werden erstattet, sodass eine fehlende Antwort nie als erlaubt gemeldet wird.

Beispielanfrage

GET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/ bash

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Beispielantwort

200 OK json

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "ClaudeBot", "owner": "anthropic", "root_access": "allowed", "group": "wildcard" }
  ]
}

Häufig gestellte Fragen

Wie wird eine fehlende robots.txt gemeldet?

Eine Antwort mit 404 oder 410 liefert not_found, was nach RFC 9309 bedeutet, dass Crawler auf alles zugreifen dürfen. Antworten mit 401, 403, 429 und 5xx liefern unknown.

Welche KI-Crawler sind enthalten?

14 Agenten von OpenAI, Anthropic, Google, Perplexity, Common Crawl, ByteDance, Apple, Meta und Amazon, gruppiert nach Training, Suche oder nutzerinitiierten Abrufen.

Wird das Ergebnis zwischengespeichert?

Endgültige Ergebnisse werden 15 Minuten lang zwischengespeichert. Mit skip_cache=1 wird die Datei erneut abgerufen. Der Pfadtest wird immer für Ihre Anfrage berechnet.

Wie viele Credits kostet es?

Ein Credit pro Anfrage. Anfragen mit unbekanntem Ergebnis werden erstattet.

HTTP-Statuscodes

Das sind die HTTP-Statuscodes, die Sie behandeln sollten, damit Sie erfolgreiche Antworten, Authentifizierungsprobleme, Credits, Ratenlimits, fehlende Daten und Upstream-Fehler unterscheiden können.

OK 200

Anfrage erfolgreich

Ungültige Anfrage 400

Ungültige Parameter

Nicht autorisiert 401

API-Schlüssel oder Sitzung fehlt oder ist ungültig.

Zahlung erforderlich 402

Nicht genügend Credits für diese Anfrage.

Zu viele Anfragen 429

Ratenlimit überschritten

Fehlerhaftes Gateway 502

RDAP-Upstream-Fehler

Eine robots.txt prüfen

Kostenlos starten Dokumentation anzeigen Kostenloses Tool testen

Support

Robots.txt-API

Vertrauenssignale vor der Integration

Wobei diese API beim Bauen hilft

Integrationsablauf

Developer-Kit

Parameter- und Antwortkarte

Endpunkte

Vertrauenssignale vor der Integration

Hauptfunktionen

Beispielanfrage

Beispielantwort

Häufig gestellte Fragen

Verwandte Tools und Ressourcen

HTTP-Statuscodes