För utvecklare, analytiker och agentbyggare
Använd fokuserade API:er när en produkt eller ett arbetsflöde behöver aktuella bevis från en offentlig sida i ett strukturerat svar.
Webbdata
Samla in offentligt webbinnehåll med den kontext du behöver använda
Gå från en URL till läsbart innehåll, dess slutliga destination, synlig teknik, kategori och signaler på URL-nivå.
Börja med det resultat du behöver
Samla in innehåll för analys, följ en destination innan du öppnar den eller berika en känd sida med teknik- och kategorikontext.
Indata
URLDomän
Resultat
Samla inBedömUpptäckBerika
Välj den smalaste produkten som besvarar frågan
Använd Scrape för sidinnehåll. Lägg bara till Redirects, Technology Detection, Website Categorization eller URL Intelligence när kontexten ändrar beslutet.
Webbskrapning
Hämta offentliga webbsidor som HTML, Markdown eller text med synkrona och asynkrona alternativ.
Välj detta när: Välj detta när du behöver HTML, text eller Markdown från en offentlig sida, med rendering eller asynkron insamling endast när det stöds och behövs.
- Indata
- URL
- Resultat
- Samla in
- Krediter
- 0-20
SynkronAsynkronRESTMCPSDK
Omdirigeringskedja
Spåra den fullständiga omdirigeringskedjan för en URL.
Välj detta när: Välj detta när destinationen och omdirigeringskedjan är viktigare än sidans brödtext.
- Indata
- URL, Domän
- Resultat
- Samla in, Bedöm
- Krediter
- 2
SynkronRESTMCPSDKInteraktivt verktyg
Teknikstackdetektering
Identifiera teknikstacken som används av en webbplats inklusive CMS, ramverk och tjänster.
Välj detta när: Välj detta när du behöver bevis på exponerade ramverk, plattformar, analysverktyg eller infrastrukturt teknik.
- Indata
- URL, Domän
- Resultat
- Upptäck, Berika, Bedöm
- Krediter
- 0-9
SynkronMasskörningAsynkronRESTMCPSDKInteraktivt verktyg
Webbkategorisering
Kategorisera en webbplats per industri, innehållstyp och ämnen.
Välj detta när: Välj detta när du behöver en bred innehålls- eller företagskategori för dirigering, research eller granskning.
- Indata
- URL, Domän
- Resultat
- Berika, Bedöm
- Krediter
- 0-3
SynkronMasskörningRESTMCPSDKInteraktivt verktyg
Samlad URL-intelligens
Hämta normaliserade sidmetadata, förhandsvisningsfält, strukturerade data och offentliga identitetssignaler från en URL.
Välj detta när: Välj detta när du behöver normaliserad URL-struktur och riskorienterade URL-signaler före djupare insamling.
- Indata
- URL
- Resultat
- Samla in, Berika
- Krediter
- 2
SynkronMasskörningRESTMCPSDK
Arbetsflöden
Inspektera URL:en, samla in sidan som Markdown och lägg sedan till de kategori- eller teknikbevis som agentens uppgift kräver.
Från sida till agentklar kontext
Inspektera URL:en, samla in sidan som Markdown och lägg sedan till de kategori- eller teknikbevis som agentens uppgift kräver.
Ögonblicksbild för webbplatsresearch
Samla in en representativ sida, fastställ dess slutliga destination och kombinera innehållet med webbplatsens kategori och exponerade tekniker.
Samla in en offentlig sida som Markdown
Skicka en offentlig URL till POST /v1/scrape med Markdown som utdata. Använd standardläget först och välj rendering endast när sidan kräver JavaScript.
Exempelbegäran
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'Exempelsvar
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}Synkront först, jobb när arbetsbelastningen kräver det
Samla in en sida synkront eller skicka 1 till 100 offentliga URL:er till ett betalt asynkront Scrape-jobb. Technology Detection stöder också produktspecifika batch- och jobbvägar.
SynkronMasskörningAsynkronRESTMCPSDKInteraktivt verktyg
Avgränsad insamling av offentliga sidor
Insamlingen använder begränsade omdirigeringar, svarsstorlekar, samtidighet och bearbetningslägen. Åtkomst till varje sida utlovas inte.
Relaterade lösningar
Samla in offentliga webbsidor i ett format som din applikation kan använda
Välj det lägsta tillräckliga insamlingsläget, bevara destinationsbevis och berika bara resultatet när arbetsflödet behöver det.
Ge agenter aktuell webbkontext med tydliga gränser
Låt en agent samla in en sida, förstå domänen bakom den och begära djupare bevis endast när uppgiften kräver det.
Bygg en återkommande offentlig bevispost för konkurrentdomäner
Samla in offentliga sidor och koppla dem till domän-, företags-, teknik-, DNS- och infrastrukturkontext.
Börja med en sida och lägg sedan bara till den kontext du behöver
Granska de fem webbdataprodukterna eller skapa din första Scrape-förfrågan från dokumentationen.