Für Entwickler, Datenteams, Forscher und Agentenbauer
Nutzen Sie diesen Workflow für begrenzte Seitensammlung, Inhaltsextraktion, Rechercheeingaben und Kontext öffentlicher Seiten.
Lösung für Datensammlung
Öffentliche Webseiten in einer für Ihre Anwendung nutzbaren Form sammeln
Wählen Sie den niedrigsten ausreichenden Sammlungsmodus, bewahren Sie Zielbelege und reichern Sie das Ergebnis nur bei Bedarf an.
Nutzbare Seiteninhalte mit Sammlungskontext
Erhalten Sie HTML, Text oder Markdown sowie Belege zum endgültigen Ziel und zur Verarbeitung jeder unterstützten Anfrage.
Eine URL allein ist kein verlässlicher Inhaltsdatensatz
Die Seite kann weiterleiten, JavaScript benötigen, die begrenzte Antwortgröße überschreiten oder nur einen Teil des benötigten Kontexts liefern.
Die Sammlung ist begrenzt und Zugriff nicht garantiert
DomScan umgeht keine Authentifizierung, Bezahlschranken, Zugriffskontrollen oder Zielbeschränkungen und verspricht nicht die Sammlung jeder öffentlichen URL.
Workflow
Erhalten Sie HTML, Text oder Markdown sowie Belege zum endgültigen Ziel und zur Verarbeitung jeder unterstützten Anfrage.
Die Ziel-URL prüfen und normalisieren
Nutzen Sie URL Intelligence oder Redirects, wenn Ziel- oder URL-Risikosignale vor der Sammlung geprüft werden sollen.
Mit dem niedrigsten ausreichenden Modus sammeln
Beginnen Sie mit Standard-Scrape, wählen Sie robuste Wiederholungen nur bei Nutzen und verwenden Sie Rendering nur für JavaScript-abhängige Inhalte.
Strukturierten Kontext ergänzen, wenn er die Entscheidung verändert
Fordern Sie Website Categorization oder Technology Detection nach der Sammlung an, wenn die nachgelagerte Aufgabe diese Signale benötigt.
Einen öffentlichen Artikel als Markdown sammeln
Übermitteln Sie die Artikel-URL im Standardmodus, bewahren Sie die endgültige URL und ergänzen Sie Kategoriebelege nur bei Nutzung durch die Anwendung.
Beispielanfrage
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'Beispielantwort
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}Produkte in diesem Workflow
Erhalten Sie HTML, Text oder Markdown sowie Belege zum endgültigen Ziel und zur Verarbeitung jeder unterstützten Anfrage.
Web-Scraping
Rufe öffentliche Webseiten als HTML, Markdown oder Text ab, mit synchronen und asynchronen Optionen.
Wählen Sie dies, wenn: Rufe öffentliche Webseiten als HTML, Markdown oder Text ab, mit synchronen und asynchronen Optionen.
- Eingaben
- URL
- Ergebnisse
- Erfassen
- Credits
- 0-20
SynchronAsynchronRESTMCPSDK
Einheitliche URL-Intelligence
Extrahieren Sie normalisierte Seitenmetadaten, Vorschaufelder, strukturierte Daten und öffentliche Identitätssignale aus einer URL.
Wählen Sie dies, wenn: Extrahieren Sie normalisierte Seitenmetadaten, Vorschaufelder, strukturierte Daten und öffentliche Identitätssignale aus einer URL.
- Eingaben
- URL
- Ergebnisse
- Erfassen, Anreichern
- Credits
- 2
SynchronStapelverarbeitungRESTMCPSDK
Website-Kategorisierung
Kategorisieren Sie eine Website nach Branche, Inhaltstyp und Themen.
Wählen Sie dies, wenn: Kategorisieren Sie eine Website nach Branche, Inhaltstyp und Themen.
- Eingaben
- URL, Domain
- Ergebnisse
- Anreichern, Bewerten
- Credits
- 0-3
SynchronStapelverarbeitungRESTMCPSDKInteraktives Tool
Asynchrone API-Stapel
Stellen Sie mehrere unterstützte API-Anfragen in eine Warteschlange und rufen Sie die Ergebnisse ab, ohne eine Clientverbindung offen zu halten.
Wählen Sie dies, wenn: Stellen Sie mehrere unterstützte API-Anfragen in eine Warteschlange und rufen Sie die Ergebnisse ab, ohne eine Clientverbindung offen zu halten.
- Eingaben
- Domain, URL, E-Mail-Adresse
- Ergebnisse
- Automatisieren
- Credits
- 0
AsynchronRESTMCPSDK
Wählen Sie diesen Workflow, wenn
Wählen Sie dies, wenn
Sie begrenzte Inhalte öffentlicher Seiten mit explizitem Ziel-, Modus- und Verarbeitungskontext benötigen.
Nicht geeignet für
Verwenden Sie ihn nicht zum Umgehen von Zugriffskontrollen, für unbegrenztes Crawling oder als Garantie für jede Zielseite.
Verwandte Produktsuiten
Nutzbare Seiteninhalte mit Sammlungskontext
Wählen Sie den niedrigsten ausreichenden Sammlungsmodus, bewahren Sie Zielbelege und reichern Sie das Ergebnis nur bei Bedarf an.