Für Entwickler, Forscher und Agentenbauer
Nutzen Sie fokussierte APIs, wenn ein Produkt oder Workflow aktuelle Belege einer öffentlichen Seite in strukturierter Form benötigt.
Versuche es mit einem Produkt, Ziel, Endpoint-Pfad oder API-Thema.
Webdaten
Gehen Sie von einer URL zu lesbaren Inhalten, dem endgültigen Ziel, sichtbaren Technologien, der Kategorie und URL-Signalen.
Nutzen Sie fokussierte APIs, wenn ein Produkt oder Workflow aktuelle Belege einer öffentlichen Seite in strukturierter Form benötigt.
Sammeln Sie Inhalte zur Analyse, verfolgen Sie ein Ziel, bevor Sie es aufrufen, oder reichern Sie eine bekannte Seite mit Technologie- und Kategorie-Kontext an.
Nutzen Sie Scrape für Seiteninhalte. Ergänzen Sie Redirects, Technology Detection, Website Categorization oder URL Intelligence nur, wenn dieser Kontext die Entscheidung verändert.
Rufe öffentliche Webseiten und Dokumente als HTML, Markdown, LLM-fähigen Text oder Klartext ab, einzeln, im Batch oder als Crawl einer ganzen Website.
Wählen Sie dies, wenn: Wählen Sie dies, wenn Sie sauberes HTML, Text oder Markdown aus öffentlichen Seiten, PDFs oder Tabellen benötigen, von einer einzelnen Seite bis zu einer ganzen Website, mit Rendering oder asynchroner Sammlung nur, wenn dies unterstützt und erforderlich ist.
Verfolgen Sie die vollständige Weiterleitungskette für eine URL.
Wählen Sie dies, wenn: Wählen Sie dies, wenn Ziel und Weiterleitungskette wichtiger sind als der Seiteninhalt.
Erkennen Sie den von einer Website verwendeten Tech-Stack, einschließlich CMS, Frameworks und Diensten.
Wählen Sie dies, wenn: Wählen Sie dies, wenn Sie Belege für offengelegte Frameworks, Plattformen, Analysen oder Infrastrukturtechnologien benötigen.
Robots.txt auswerten, beliebige Crawler und Pfade testen und sehen, welche KI-Crawler gesperrt sind.
Wählen Sie dies, wenn: Wählen Sie dies, um die robots.txt einer Website zu lesen, zu testen, ob ein Crawler einen Pfad abrufen darf, und zu sehen, welche KI-Crawler erlaubt oder blockiert sind.
XML-Sitemaps finden und prüfen, mit URL-Anzahl, lastmod-Aktualität und Protokollproblemen.
Wählen Sie dies, wenn: Wählen Sie dies, um die XML-Sitemaps einer Website zu finden und URL-Anzahl, lastmod-Aktualität und Protokollprobleme innerhalb eines festen Dateibudgets zu prüfen.
Titel, Meta-Tags, Überschriften, Links, Bilder und strukturierte Daten mit einem SEO-Score prüfen.
Wählen Sie dies, wenn: Wählen Sie dies, um eine Seite auf On-Page-SEO zu prüfen, von Meta-Tags und Überschriften bis zu Links, Bildern und strukturierten Daten, mit oder ohne JavaScript-Rendering.
Rohes und gerendertes HTML vergleichen, um zu sehen, welche SEO-Signale von JavaScript abhängen.
Wählen Sie dies, wenn: Wählen Sie dies, um zu sehen, welche SEO-Signale einer Seite erst nach der Ausführung von JavaScript existieren, indem das rohe und das gerenderte HTML verglichen werden.
schema.org-Markup in JSON-LD, Microdata und RDFa extrahieren und validieren.
Wählen Sie dies, wenn: Wählen Sie dies, um JSON-LD, Microdata und RDFa aus einer Seite zu extrahieren und anhand der schema.org-Regeln für gängige Rich-Result-Typen zu prüfen.
Die häufigsten Keywords und Phrasen einer Seite mit Dichteprozenten finden.
Wählen Sie dies, wenn: Wählen Sie dies, um die Wort- und Phrasenhäufigkeit auf einer Seite zu messen und zu prüfen, wo Ziel-Keywords vorkommen.
Seitenlinks auflisten und defekte mit begrenzten Statusprüfungen finden.
Wählen Sie dies, wenn: Wählen Sie dies, um die Links einer Seite aufzulisten und defekte zu finden, wobei blockierte Prüfungen als unknown bleiben.
hreflang-Codes, x-default, Selbstreferenzen und Rückverweise validieren.
Wählen Sie dies, wenn: Wählen Sie dies, um die hreflang-Tags einer Seite zu validieren und zu bestätigen, dass alternative Sprachseiten zurückverweisen.
Testen Sie viele URLs und Crawler gegen eine eingefügte oder Live-robots.txt.
Wählen Sie dies, wenn: Wählen Sie dies, um viele URLs und Crawler auf einmal gegen eine eingefügte oder Live-robots.txt zu testen.
ads.txt- und app-ads.txt-Einträge prüfen und Verkäufer anhand von sellers.json bestätigen.
Wählen Sie dies, wenn: Wählen Sie dies, um die ads.txt oder app-ads.txt einer Website zu prüfen und autorisierte Verkäufer anhand von sellers.json zu bestätigen.
Seiten auf doppelte Inhalte, Titel und Meta-Beschreibungen vergleichen.
Wählen Sie dies, wenn: Wählen Sie dies, um bis zu 10 Seiten auf doppelte Inhalte sowie wiederholte Titel, Meta-Beschreibungen und H1 zu vergleichen.
Bis zu 50 Seiten crawlen und defekte Links, Duplikate und On-Page-Probleme finden.
Wählen Sie dies, wenn: Wählen Sie dies, um bis zu 50 Seiten einer Website zu crawlen und defekte Links, Duplikate und On-Page-SEO-Probleme in einem Bericht zu finden.
Jede Seite als Bild oder PDF auf Desktop oder Mobilgerät erfassen.
Wählen Sie dies, wenn: Wählen Sie dies, um eine Seite auf Desktop oder Mobilgerät als PNG, JPEG, WebP oder PDF zu erfassen.
Automatisiertes WCAG-Audit mit Verstößen, betroffenen Elementen und einem Score durchführen.
Wählen Sie dies, wenn: Wählen Sie dies, um ein automatisiertes WCAG-Audit einer Seite mit Verstößen nach Auswirkung und betroffenen Elementen durchzuführen.
Cookies, Tracker und Consent-Manager vor der Einwilligung auflisten.
Wählen Sie dies, wenn: Wählen Sie dies, um die Cookies, Tracker und den Consent-Manager zu sehen, die eine Seite vor jeder Einwilligung lädt.
Seitengröße, Anfragen, Drittanbieter und Ladezeiten messen.
Wählen Sie dies, wenn: Wählen Sie dies, um Bytes, Anfragen, Drittanbieter, renderblockierende Ressourcen und Ladezeiten einer Seite zu messen.
Kategorisieren Sie eine Website nach Branche, Inhaltstyp und Themen.
Wählen Sie dies, wenn: Wählen Sie dies, wenn Sie eine allgemeine Inhalts- oder Geschäftskategorie für Routing, Forschung oder Prüfung benötigen.
Extrahieren Sie normalisierte Seitenmetadaten, Vorschaufelder, strukturierte Daten und öffentliche Identitätssignale aus einer URL.
Wählen Sie dies, wenn: Wählen Sie dies, wenn Sie vor einer tieferen Sammlung eine normalisierte URL-Struktur und risikoorientierte URL-Signale benötigen.
Prüfen Sie die URL, sammeln Sie die Seite als Markdown und ergänzen Sie die für die Agentenaufgabe benötigten Kategorie- oder Technologiebelege.
Prüfen Sie die URL, sammeln Sie die Seite als Markdown und ergänzen Sie die für die Agentenaufgabe benötigten Kategorie- oder Technologiebelege.
Sammeln Sie eine repräsentative Seite, lösen Sie ihr endgültiges Ziel auf und verbinden Sie Inhalte mit Kategorie- und Technologie-Signalen.
Übermitteln Sie eine öffentliche URL per POST /v1/scrape mit Markdown-Ausgabe. Nutzen Sie zuerst den Standardmodus und wählen Sie Rendering nur bei JavaScript-Abhängigkeit.
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}
Scrapen Sie eine Seite synchron oder übermitteln Sie 1 bis 100 öffentliche URLs an einen kostenpflichtigen asynchronen Scrape-Job. Technology Detection unterstützt ebenfalls produktspezifische Batch- und Job-Pfade.
Die Sammlung nutzt begrenzte Weiterleitungen, Antwortgrößen, Parallelität und Verarbeitungsmodi. Der Zugriff auf jede Seite wird nicht versprochen.
Wählen Sie den niedrigsten ausreichenden Sammlungsmodus, bewahren Sie Zielbelege und reichern Sie das Ergebnis nur bei Bedarf an.
Mehr erfahrenLassen Sie einen Agenten eine Seite sammeln, die dahinterliegende Domain verstehen und tiefere Belege nur bei Bedarf anfordern.
Mehr erfahrenSammeln Sie öffentliche Seiten und verbinden Sie sie mit Domain-, Unternehmens-, Technologie-, DNS- und Infrastrukturkontext.
Mehr erfahrenPrüfen Sie die fünf Webdaten-Produkte oder stellen Sie Ihre erste Scrape-Anfrage über die Dokumentation.