Webbdata

Samla in offentligt webbinnehåll med den kontext du behöver använda

Gå från en URL till läsbart innehåll, dess slutliga destination, synlig teknik, kategori och signaler på URL-nivå.

För utvecklare, analytiker och agentbyggare

Använd fokuserade API:er när en produkt eller ett arbetsflöde behöver aktuella bevis från en offentlig sida i ett strukturerat svar.

Börja med det resultat du behöver

Samla in innehåll för analys, följ en destination innan du öppnar den eller berika en känd sida med teknik- och kategorikontext.

Indata

URLDomän

Resultat

Samla inBedömUpptäckBerikaVerifieraJämför

Välj den smalaste produkten som besvarar frågan

Använd Scrape för sidinnehåll. Lägg bara till Redirects, Technology Detection, Website Categorization eller URL Intelligence när kontexten ändrar beslutet.

Webbskrapning

Hämta offentliga webbsidor och dokument som HTML, Markdown, LLM-redo text eller ren text, en sida i taget, i batchar eller genom att genomsöka en hel webbplats.

Välj detta när: Välj detta när du behöver rent HTML, text eller Markdown från offentliga sidor, PDF-filer eller kalkylblad, från en enskild sida till en hel webbplats, med rendering eller asynkron insamling endast när det stöds och behövs.

Indata
URL
Resultat
Samla in
Krediter
0-20
SynkronAsynkronRESTMCPSDK

Omdirigeringskedja

Spåra den fullständiga omdirigeringskedjan för en URL.

Välj detta när: Välj detta när destinationen och omdirigeringskedjan är viktigare än sidans brödtext.

Indata
URL, Domän
Resultat
Samla in, Bedöm
Krediter
2
SynkronRESTMCPSDKInteraktivt verktyg

Teknikstackdetektering

Identifiera teknikstacken som används av en webbplats inklusive CMS, ramverk och tjänster.

Välj detta när: Välj detta när du behöver bevis på exponerade ramverk, plattformar, analysverktyg eller infrastrukturt teknik.

Indata
URL, Domän
Resultat
Upptäck, Berika, Bedöm
Krediter
0-9
SynkronMasskörningAsynkronRESTMCPSDKInteraktivt verktyg

Robots.txt-API

Tolka robots.txt, testa valfri robot och sökväg och se vilka AI-robotar som blockeras.

Välj detta när: Välj detta för att läsa en webbplats robots.txt, testa om en sökrobot får hämta en sökväg och se vilka AI-sökrobotar som är tillåtna eller blockerade.

Indata
URL, Domän
Resultat
Verifiera, Bedöm
Krediter
1
SynkronRESTMCPSDKInteraktivt verktyg

API för granskning av XML-sitemap

Hitta och granska XML-sitemaps med antal URL:er, lastmod-aktualitet och protokollfel.

Välj detta när: Välj detta för att hitta en webbplats XML-sitemaps och kontrollera antal URL:er, lastmod-aktualitet och protokollproblem inom en fast filbudget.

Indata
URL, Domän
Resultat
Upptäck, Verifiera, Bedöm
Krediter
2
SynkronRESTMCPSDKInteraktivt verktyg

API för SEO-granskning på sidnivå

Granska titlar, metataggar, rubriker, länkar, bilder och strukturerad data med ett SEO-betyg.

Välj detta när: Välj detta för att granska en sida för SEO på sidnivå, från metataggar och rubriker till länkar, bilder och strukturerad data, med eller utan JavaScript-rendering.

Indata
URL, Domän
Resultat
Verifiera, Bedöm
Krediter
2-6
SynkronRESTMCPSDKInteraktivt verktyg

API för kontroll av JavaScript SEO-rendering

Jämför rå och renderad HTML för att se vilka SEO-signaler som beror på JavaScript.

Välj detta när: Välj detta för att se vilka SEO-signaler på en sida som bara finns efter att JavaScript har körts, genom att jämföra dess råa och renderade HTML.

Indata
URL, Domän
Resultat
Jämför, Bedöm
Krediter
7
SynkronRESTMCPSDKInteraktivt verktyg

API för validering av strukturerad data

Extrahera och validera schema.org-markering i JSON-LD, Microdata och RDFa.

Välj detta när: Välj detta för att extrahera JSON-LD, Microdata och RDFa från en sida och kontrollera dem mot schema.org-regler för vanliga typer av rich results.

Indata
URL, Domän
Resultat
Verifiera, Bedöm
Krediter
2-6
SynkronRESTMCPSDKInteraktivt verktyg

API för nyckelordstäthet

Hitta de vanligaste nyckelorden och fraserna på en sida med täthet i procent.

Välj detta när: Välj detta för att mäta frekvensen för ord och fraser på en sida och kontrollera var målnyckelord förekommer.

Indata
URL, Domän
Resultat
Bedöm
Krediter
2-6
SynkronRESTMCPSDKInteraktivt verktyg

API för sidlänkar och kontroll av trasiga länkar

Lista sidans länkar och hitta trasiga med begränsade statuskontroller.

Välj detta när: Välj detta för att lista länkarna på en sida och hitta trasiga, där blockerade kontroller förblir okända.

Indata
URL, Domän
Resultat
Upptäck, Verifiera
Krediter
2-6
SynkronRESTMCPSDKInteraktivt verktyg

API för hreflang-validering

Validera hreflang-koder, x-default, självreferenser och returlänkar.

Välj detta när: Välj detta för att validera hreflang-taggarna på en sida och bekräfta att alternativa språksidor länkar tillbaka.

Indata
URL, Domän
Resultat
Verifiera, Bedöm
Krediter
3
SynkronRESTMCPSDKInteraktivt verktyg

API för robots.txt-testare

Testa många URL:er och crawlers mot en inklistrad eller aktiv robots.txt.

Välj detta när: Välj detta för att testa många URL:er och crawlers samtidigt mot en inklistrad eller aktiv robots.txt.

Indata
URL, Domän
Resultat
Verifiera, Bedöm
Krediter
1
SynkronRESTMCPSDKInteraktivt verktyg

API för validering av ads.txt och sellers.json

Validera poster i ads.txt och app-ads.txt och bekräfta säljare mot sellers.json.

Välj detta när: Välj detta för att validera en webbplats ads.txt eller app-ads.txt och bekräfta behöriga säljare mot sellers.json.

Indata
URL, Domän
Resultat
Verifiera, Bedöm
Krediter
2-5
SynkronRESTMCPSDKInteraktivt verktyg

API för kontroll av dubbelt innehåll

Jämför sidor med avseende på dubbelt innehåll, titlar och metabeskrivningar.

Välj detta när: Välj detta för att jämföra upp till 10 sidor med avseende på dubbelt innehåll och återkommande titlar, metabeskrivningar och H1-rubriker.

Indata
URL, Domän
Resultat
Jämför, Bedöm
Krediter
5
SynkronRESTMCPSDKInteraktivt verktyg

API för webbplatsgranskning och SEO-crawler

Genomsök upp till 50 sidor och hitta trasiga länkar, dubbletter och problem på sidnivå.

Välj detta när: Välj detta för att genomsöka upp till 50 sidor på en webbplats och hitta trasiga länkar, dubbletter och SEO-problem på sidnivå i en enda rapport.

Indata
URL, Domän
Resultat
Upptäck, Bedöm
Krediter
10-35
SynkronRESTMCPSDKInteraktivt verktyg

API för skärmbilder av webbplatser

Fånga valfri sida som bild eller PDF på dator eller mobil.

Välj detta när: Välj detta för att fånga en sida som PNG, JPEG, WebP eller PDF på dator eller mobil.

Indata
URL, Domän
Resultat
Upptäck, Verifiera
Krediter
10
SynkronRESTMCPSDKInteraktivt verktyg

API för tillgänglighetsgranskning

Kör en automatisk WCAG-granskning med överträdelser, berörda element och ett betyg.

Välj detta när: Välj detta för att köra en automatisk WCAG-granskning av en sida med överträdelser efter påverkan och berörda element.

Indata
URL, Domän
Resultat
Verifiera, Bedöm
Krediter
8
SynkronRESTMCPSDKInteraktivt verktyg

API för cookie- och spårarskanner

Lista cookies, spårare och samtyckeshanterare som syns före samtycke.

Välj detta när: Välj detta för att se de cookies, spårare och den samtyckeshanterare som en sida läser in före samtycke.

Indata
URL, Domän
Resultat
Upptäck, Bedöm
Krediter
8
SynkronRESTMCPSDKInteraktivt verktyg

API för sidvikt och resurser

Mät sidans byte, förfrågningar, tredje parter och laddningstider.

Välj detta när: Välj detta för att mäta en sidas byte, förfrågningar, tredje parter, renderingsblockerande resurser och tider.

Indata
URL, Domän
Resultat
Bedöm
Krediter
6
SynkronRESTMCPSDKInteraktivt verktyg

Webbkategorisering

Kategorisera en webbplats per industri, innehållstyp och ämnen.

Välj detta när: Välj detta när du behöver en bred innehålls- eller företagskategori för dirigering, research eller granskning.

Indata
URL, Domän
Resultat
Berika, Bedöm
Krediter
0-3
SynkronMasskörningRESTMCPSDKInteraktivt verktyg

Samlad URL-intelligens

Hämta normaliserade sidmetadata, förhandsvisningsfält, strukturerade data och offentliga identitetssignaler från en URL.

Välj detta när: Välj detta när du behöver normaliserad URL-struktur och riskorienterade URL-signaler före djupare insamling.

Indata
URL
Resultat
Samla in, Berika
Krediter
2
SynkronMasskörningRESTMCPSDK

Arbetsflöden

Inspektera URL:en, samla in sidan som Markdown och lägg sedan till de kategori- eller teknikbevis som agentens uppgift kräver.

Från sida till agentklar kontext

Inspektera URL:en, samla in sidan som Markdown och lägg sedan till de kategori- eller teknikbevis som agentens uppgift kräver.

Ögonblicksbild för webbplatsresearch

Samla in en representativ sida, fastställ dess slutliga destination och kombinera innehållet med webbplatsens kategori och exponerade tekniker.

Samla in en offentlig sida som Markdown

Skicka en offentlig URL till POST /v1/scrape med Markdown som utdata. Använd standardläget först och välj rendering endast när sidan kräver JavaScript.

Exempelbegäran
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'
Exempelsvar
{
  "data": {
    "url": "https://example.com",
    "outcome": "success",
    "content": "# Example Domain",
    "truncated": false
  },
  "billing": { "credits_charged": 1, "credits_refunded": 0 }
}

Synkront först, jobb när arbetsbelastningen kräver det

Samla in en sida synkront eller skicka 1 till 100 offentliga URL:er till ett betalt asynkront Scrape-jobb. Technology Detection stöder också produktspecifika batch- och jobbvägar.

SynkronMasskörningAsynkronRESTMCPSDKInteraktivt verktyg

Avgränsad insamling av offentliga sidor

Insamlingen använder begränsade omdirigeringar, svarsstorlekar, samtidighet och bearbetningslägen. Åtkomst till varje sida utlovas inte.

Börja med en sida och lägg sedan bara till den kontext du behöver

Granska de fem webbdataprodukterna eller skapa din första Scrape-förfrågan från dokumentationen.