Dla deweloperów, zespołów danych, badaczy i twórców agentów
Używaj tego przepływu do ograniczonego zbierania stron, ekstrakcji treści, danych badawczych i kontekstu publicznych stron.
Rozwiązanie zbierania danych
Zbieraj publiczne strony Web w formie użytecznej dla aplikacji
Wybierz najniższy wystarczający tryb zbierania, zachowaj dowody miejsca docelowego i wzbogacaj wynik tylko wtedy, gdy wymaga tego przepływ.
Użyteczna treść strony z kontekstem zbierania
Otrzymuj HTML, tekst lub Markdown oraz dowody końcowego miejsca docelowego i przetwarzania dla każdego obsługiwanego żądania.
Sam URL nie jest wiarygodnym zapisem treści
Strona może przekierowywać, wymagać JavaScript, przekroczyć ograniczony rozmiar odpowiedzi lub ujawniać tylko część potrzebnego kontekstu.
Zbieranie jest ograniczone, a dostęp nie jest gwarantowany
DomScan nie omija uwierzytelniania, paywalli, kontroli dostępu ani ograniczeń celu i nie obiecuje zebrania każdego publicznego URL.
Przepływ pracy
Otrzymuj HTML, tekst lub Markdown oraz dowody końcowego miejsca docelowego i przetwarzania dla każdego obsługiwanego żądania.
Sprawdź i znormalizuj docelowy URL
Użyj URL Intelligence lub Redirects, gdy przed zebraniem trzeba sprawdzić miejsce docelowe albo sygnały ryzyka URL.
Zbieraj w najniższym wystarczającym trybie
Zacznij od standardowego Scrape, wybieraj odporne ponowienia tylko wtedy, gdy są przydatne, a renderowanie stosuj wyłącznie dla treści zależnych od JavaScript.
Dodaj ustrukturyzowany kontekst, gdy zmienia decyzję
Po zebraniu zażądaj Website Categorization lub Technology Detection, jeśli zadanie dalsze potrzebuje tych sygnałów.
Zbierz publiczny artykuł jako Markdown
Wyślij URL artykułu w trybie standardowym, zachowaj końcowy URL i dodaj dane kategorii tylko, jeśli aplikacja ich używa.
Przykład Request
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'Example Odpowiedź
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}Produkty w tym przepływie pracy
Otrzymuj HTML, tekst lub Markdown oraz dowody końcowego miejsca docelowego i przetwarzania dla każdego obsługiwanego żądania.
Scraping stron internetowych
Pobieraj publiczne strony internetowe jako HTML, Markdown lub tekst, korzystając z opcji synchronicznych i asynchronicznych.
Wybierz, gdy: Pobieraj publiczne strony internetowe jako HTML, Markdown lub tekst, korzystając z opcji synchronicznych i asynchronicznych.
- Dane wejściowe
- URL
- Wyniki
- Zbieraj
- Kredyty
- 0-20
SynchroniczneAsynchroniczneRESTMCPSDK
Ujednolicona analiza URL
Pobieraj z adresu URL znormalizowane metadane strony, pola podglądu, dane strukturalne i sygnały publicznej tożsamości.
Wybierz, gdy: Pobieraj z adresu URL znormalizowane metadane strony, pola podglądu, dane strukturalne i sygnały publicznej tożsamości.
- Dane wejściowe
- URL
- Wyniki
- Zbieraj, Wzbogacaj
- Kredyty
- 2
SynchroniczneMasoweRESTMCPSDK
Website Kategoryzacja
Kategoryzuj witrynę wg branży, typu zawartości i tematów.
Wybierz, gdy: Kategoryzuj witrynę wg branży, typu zawartości i tematów.
- Dane wejściowe
- URL, Domena
- Wyniki
- Wzbogacaj, Oceniaj
- Kredyty
- 0-3
SynchroniczneMasoweRESTMCPSDKNarzędzie interaktywne
Asynchroniczne partie żądań API
Dodawaj wiele obsługiwanych żądań API do kolejki i odbieraj ich wyniki bez utrzymywania otwartego połączenia klienta.
Wybierz, gdy: Dodawaj wiele obsługiwanych żądań API do kolejki i odbieraj ich wyniki bez utrzymywania otwartego połączenia klienta.
- Dane wejściowe
- Domena, URL, Adres e-mail
- Wyniki
- Automatyzuj
- Kredyty
- 0
AsynchroniczneRESTMCPSDK
Wybierz ten przepływ, gdy
Wybierz, gdy
Potrzebujesz ograniczonej publicznej treści z jawnym kontekstem miejsca docelowego, trybu i przetwarzania.
Nie do
Nie używaj do omijania kontroli dostępu, nieograniczonego crawlowania witryny ani gwarantowania zebrania każdego celu.
Powiązane zestawy produktów
Użyteczna treść strony z kontekstem zbierania
Wybierz najniższy wystarczający tryb zbierania, zachowaj dowody miejsca docelowego i wzbogacaj wynik tylko wtedy, gdy wymaga tego przepływ.