För utvecklare, datateam, analytiker och agentbyggare
Använd detta arbetsflöde för avgränsad sidinsamling, innehållsextraktion, researchindata och kontext från offentliga sidor.
Prova en produkt, ett resultat, en endpoint-sökväg eller ett API-ämne.
Lösning för datainsamling
Välj det lägsta tillräckliga insamlingsläget, bevara destinationsbevis och berika bara resultatet när arbetsflödet behöver det.
Använd detta arbetsflöde för avgränsad sidinsamling, innehållsextraktion, researchindata och kontext från offentliga sidor.
Ta emot HTML, text eller Markdown plus bevis för slutlig destination och bearbetning för varje stödd förfrågan.
Sidan kan omdirigera, kräva JavaScript, överskrida en avgränsad svarsstorlek eller bara visa en del av den kontext din applikation behöver.
DomScan kringgår inte autentisering, betalväggar, åtkomstkontroller eller målbegränsningar och lovar inte att varje offentlig URL kan samlas in.
Ta emot HTML, text eller Markdown plus bevis för slutlig destination och bearbetning för varje stödd förfrågan.
Använd URL Intelligence eller Redirects när destinations- eller URL-risksignaler bör kontrolleras före insamlingen.
Börja med standard-Scrape, välj motståndskraftig återförsökslogik bara när den är användbar och använd rendering endast för JavaScript-beroende innehåll.
Begär Website Categorization eller Technology Detection efter insamlingen när den efterföljande uppgiften behöver signalerna.
Skicka artikelns URL i standardläge, bevara den slutliga URL:en och lägg till kategoribevis endast om applikationen använder det.
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}
Ta emot HTML, text eller Markdown plus bevis för slutlig destination och bearbetning för varje stödd förfrågan.
Hämta offentliga webbsidor och dokument som HTML, Markdown, LLM-redo text eller ren text, en sida i taget, i batchar eller genom att genomsöka en hel webbplats.
Välj detta när: Hämta offentliga webbsidor och dokument som HTML, Markdown, LLM-redo text eller ren text, en sida i taget, i batchar eller genom att genomsöka en hel webbplats.
Hämta normaliserade sidmetadata, förhandsvisningsfält, strukturerade data och offentliga identitetssignaler från en URL.
Välj detta när: Hämta normaliserade sidmetadata, förhandsvisningsfält, strukturerade data och offentliga identitetssignaler från en URL.
Kategorisera en webbplats per industri, innehållstyp och ämnen.
Välj detta när: Kategorisera en webbplats per industri, innehållstyp och ämnen.
Köa många API-begäranden som stöds och samla in resultaten utan att hålla en klientanslutning öppen.
Välj detta när: Köa många API-begäranden som stöds och samla in resultaten utan att hålla en klientanslutning öppen.
Du behöver avgränsat innehåll från offentliga sidor med tydlig destinations-, läges- och bearbetningskontext.
Använd det inte för att kringgå åtkomstkontroller, crawla en obegränsad webbplats eller garantera insamling av varje mål.
Välj det lägsta tillräckliga insamlingsläget, bevara destinationsbevis och berika bara resultatet när arbetsflödet behöver det.