Dla deweloperów, badaczy i twórców agentów
Korzystaj ze skoncentrowanych API, gdy produkt lub przepływ potrzebuje aktualnych dowodów publicznej strony w ustrukturyzowanej odpowiedzi.
Dane Web
Zbieraj publiczne treści Web z kontekstem potrzebnym do ich wykorzystania
Przejdź od URL do czytelnej treści, końcowego miejsca docelowego, widocznych technologii, kategorii i sygnałów URL.
Zacznij od potrzebnego wyniku
Zbieraj treść do analizy, śledź miejsce docelowe przed przejściem lub wzbogacaj stronę o kontekst technologii i kategorii.
Dane wejściowe
URLDomena
Wyniki
ZbierajOceniajOdkrywajWzbogacaj
Wybierz najwęższy produkt odpowiadający na pytanie
Używaj Scrape do treści strony. Dodawaj Redirects, Technology Detection, Website Categorization lub URL Intelligence tylko wtedy, gdy kontekst zmienia decyzję.
Scraping stron internetowych
Pobieraj publiczne strony internetowe jako HTML, Markdown lub tekst, korzystając z opcji synchronicznych i asynchronicznych.
Wybierz, gdy: Wybierz, gdy potrzebujesz HTML, tekstu lub Markdown z publicznej strony, a renderowania lub zbierania asynchronicznego tylko przy wsparciu i konieczności.
- Dane wejściowe
- URL
- Wyniki
- Zbieraj
- Kredyty
- 0-20
SynchroniczneAsynchroniczneRESTMCPSDK
Łańcuch przekierowań
Śledź pełny łańcuch przekierowań dla adresu URL.
Wybierz, gdy: Wybierz, gdy miejsce docelowe i łańcuch przekierowań są ważniejsze niż treść strony.
- Dane wejściowe
- URL, Domena
- Wyniki
- Zbieraj, Oceniaj
- Kredyty
- 2
SynchroniczneRESTMCPSDKNarzędzie interaktywne
Stos techniczny Detection
Wykryj stos technologiczny używany przez witrynę, w tym CMS, frameworki i usługi.
Wybierz, gdy: Wybierz, gdy potrzebujesz dowodów ujawnionych frameworków, platform, analityki lub technologii infrastruktury.
- Dane wejściowe
- URL, Domena
- Wyniki
- Odkrywaj, Wzbogacaj, Oceniaj
- Kredyty
- 0-9
SynchroniczneMasoweAsynchroniczneRESTMCPSDKNarzędzie interaktywne
Website Kategoryzacja
Kategoryzuj witrynę wg branży, typu zawartości i tematów.
Wybierz, gdy: Wybierz, gdy potrzebujesz ogólnej kategorii treści lub działalności do routingu, badań lub analizy.
- Dane wejściowe
- URL, Domena
- Wyniki
- Wzbogacaj, Oceniaj
- Kredyty
- 0-3
SynchroniczneMasoweRESTMCPSDKNarzędzie interaktywne
Ujednolicona analiza URL
Pobieraj z adresu URL znormalizowane metadane strony, pola podglądu, dane strukturalne i sygnały publicznej tożsamości.
Wybierz, gdy: Wybierz, gdy przed głębszym zbieraniem potrzebujesz znormalizowanej struktury URL i sygnałów ryzyka URL.
- Dane wejściowe
- URL
- Wyniki
- Zbieraj, Wzbogacaj
- Kredyty
- 2
SynchroniczneMasoweRESTMCPSDK
Przepływy pracy
Sprawdź URL, zbierz stronę jako Markdown, a następnie dodaj dowody kategorii lub technologii wymagane przez zadanie agenta.
Od strony do kontekstu gotowego dla agenta
Sprawdź URL, zbierz stronę jako Markdown, a następnie dodaj dowody kategorii lub technologii wymagane przez zadanie agenta.
Migawka badania witryny
Zbierz reprezentatywną stronę, rozwiąż jej końcowe miejsce docelowe i połącz treść z kategorią witryny oraz sygnałami technologii.
Zbierz publiczną stronę jako Markdown
Wyślij publiczny URL do POST /v1/scrape z wyjściem Markdown. Najpierw użyj trybu standardowego, a renderowanie wybierz tylko, gdy strona wymaga JavaScript.
Przykład Request
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'Example Odpowiedź
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}Najpierw synchronicznie, zadania gdy wymaga tego obciążenie
Zbieraj jedną stronę synchronicznie lub wyślij od 1 do 100 publicznych URL do płatnego asynchronicznego zadania Scrape. Wykrywanie technologii obsługuje także ścieżki zbiorcze i zadaniowe produktu.
SynchroniczneMasoweAsynchroniczneRESTMCPSDKNarzędzie interaktywne
Ograniczone zbieranie publicznych stron
Zbieranie ma ograniczenia przekierowań, rozmiaru odpowiedzi, współbieżności i trybów przetwarzania. Dostęp do każdej strony nie jest gwarantowany.
Powiązane rozwiązania
Zbieraj publiczne strony Web w formie użytecznej dla aplikacji
Wybierz najniższy wystarczający tryb zbierania, zachowaj dowody miejsca docelowego i wzbogacaj wynik tylko wtedy, gdy wymaga tego przepływ.
Zapewnij agentom aktualny kontekst Web z jawnymi granicami
Pozwól agentowi zebrać stronę, zrozumieć stojącą za nią domenę i żądać głębszych dowodów tylko wtedy, gdy wymaga tego zadanie.
Zbuduj powtarzalny zapis publicznych dowodów dla domen konkurencji
Zbieraj publiczne strony i łącz je z kontekstem domeny, firmy, technologii, DNS i infrastruktury.
Zacznij od jednej strony, potem dodaj tylko potrzebny kontekst
Poznaj pięć produktów danych Web lub wykonaj pierwsze żądanie Scrape z dokumentacji.