Dane internetowe

API robots.txt

Pobierz i przeanalizuj robots.txt dowolnej witryny jednym zapytaniem. Otrzymasz grupy robotów, reguły, zadeklarowane mapy witryny, werdykt allow lub disallow dla user-agent i ścieżki oraz dostęp do katalogu głównego dla głównych robotów AI.

Zobacz dokumentację Wypróbuj bezpłatne narzędzie Poznaj wszystkie API

Punkty końcowe Aktywny

GET /v1/robots

Przykładowe żądanie

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Przykładowa odpowiedź 200 OK

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "Cla
...

Przykładowe żądanie GET /v1/robots

Kluczowe funkcje 4

Często zadawane pytania 4

Kody statusu HTTP 200 / 400 / 401 / 402 / 429 / 502

Kategoria Dane internetowe

Punkty końcowe 1

Kluczowe funkcje 4

Często zadawane pytania 4

Używany przez ludzi w tych firmach

Sygnały zaufania przed integracją

Przejrzysta dokumentacja, uwierzytelnione żądania i widoczne informacje o niezawodności ułatwiają ocenę DomScan przed wdrożeniem.

Aktywna Status usługi

Przed integracją sprawdź bieżący stan usługi i udokumentowane odpowiedzi na błędy.

OpenAPI Materiały API

Linki OpenAPI, Swagger, Postman, CLI, SDK i MCP są dostępne jednym kliknięciem.

Klucze API Chroniony dostęp

Uwierzytelnione endpointy używają kluczy API z jasnymi kosztami kredytów przed wywołaniem.

10,000 Darmowy limit

Zacznij od 10 000 kredytów miesięcznie i przejdź wyżej dopiero, gdy użycie wzrośnie.

Co ta API pomaga wdrożyć

Użyj tej strony jako briefu produkcyjnego: endpointy, przykłady, kształt odpowiedzi i elementy workflow potrzebne do podłączenia DomScan do produktu.

Workflow produktu

Osadzaj sprawdzanie domen, DNS intelligence, sygnały ryzyka lub enrichment w onboardingu, wyszukiwarce i narzędziach wewnętrznych.

Automatyzacja analityków

Zastąp powtarzalne ręczne lookupy zadaniami cyklicznymi, alertami i odtwarzalnymi krokami dochodzenia.

Czyste dane JSON

Używaj przewidywalnych pól, udokumentowanych kodów statusu i kosztów kredytów zamiast scrapować strony dostawców.

AI i narzędzia ops

Zasilaj agentów, dashboardy, playbooki SOAR i CRMy przez OpenAPI, SDK, Postman lub MCP.

Workflow integracji

Prosta ścieżka od pierwszego requestu do powtarzalnego użycia produkcyjnego.

Uwierzytelnij raz

Wyślij klucz API w udokumentowanym nagłówku i utrzymuj spójne requesty między usługami.

Odpytuj z przykładami

Zacznij od przykładów curl i HTTP, potem zmapuj parametry w kodzie aplikacji.

Operuj i monitoruj

Używaj kodów statusu, kosztów kredytów i pól odpowiedzi do retries, logów i alertów.

Zestaw developerski

Przejdź z tej strony do dokumentacji machine-readable, kolekcji requestów, SDK lub narzędzi agentowych.

Schemat OpenAPI

Generuj klientów lub sprawdzaj każdy kształt requestu i odpowiedzi.

Kolekcja Postman

Importuj gotowe requesty do testów manualnych i przekazania zespołowi.

SDK i CLI

Używaj utrzymywanych pakietów i workflow command-line zamiast pisać boilerplate.

Integracja MCP

Udostępniaj domain intelligence agentom AI i wewnętrznym asystentom.

Mapa parametrów i odpowiedzi

Przejrzyj inputy, pola outputu i kody statusu przed podłączeniem endpointu do klienta.

Parametry requestu

Parametr

urldomainuser_agentpathskip_cache

Pola odpowiedzi

Przykładowa odpowiedź

statussitemapstesttest.user_agenttest.pathtest.allowedtest.matched_ruletest.matched_rule.typetest.matched_rule.pathtest.matched_rule.lineai_crawlers

Zakres statusów

Kody statusu HTTP

200400401402429502

Punkty końcowe

GET /v1/robots

Kredyty: 1Uwierzytelnianie: Uwierzytelnienie required

Sygnały zaufania przed integracją

Przejrzysta dokumentacja, uwierzytelnione żądania i widoczne informacje o niezawodności ułatwiają ocenę DomScan przed wdrożeniem.

Status usługi Materiały API

Linki OpenAPI, Swagger, Postman, CLI, SDK i MCP są dostępne jednym kliknięciem.

Klucze API Chroniony dostęp

Uwierzytelnione endpointy używają kluczy API z jasnymi kosztami kredytów przed wywołaniem.

Darmowy limit Zarejestruj się bezpłatnie

Zacznij od 10 000 kredytów miesięcznie i przejdź wyżej dopiero, gdy użycie wzrośnie.

Aktywny Przykładowe żądanie

Zacznij od przykładów curl i HTTP, potem zmapuj parametry w kodzie aplikacji.

Kluczowe funkcje

Standardowe dopasowanie

Reguły są dopasowywane zgodnie z RFC 9309: najbardziej szczegółowa grupa user-agent, najdłuższe dopasowanie ścieżki, allow przy remisie oraz obsługa * i $.

Pokrycie robotów AI

Dostęp do katalogu głównego dla GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot, CCBot i innych, z podaniem właściciela i celu.

Testowanie ścieżek

Przekaż user-agent i ścieżkę, aby otrzymać werdykt, regułę, która o nim zdecydowała, i grupę, z której pochodzi.

Jasne stany błędów

Zablokowane, ograniczone limitem i nieudane pobrania zwracają stan nieznany i są zwracane w kredytach, więc brak odpowiedzi nigdy nie jest raportowany jako zezwolenie.

Przykładowe żądanie

GET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/ bash

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Przykładowa odpowiedź

200 OK json

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "ClaudeBot", "owner": "anthropic", "root_access": "allowed", "group": "wildcard" }
  ]
}

Często zadawane pytania

Jak raportowany jest brak robots.txt?

Odpowiedź 404 lub 410 zwraca not_found, co według RFC 9309 oznacza, że roboty mogą uzyskać dostęp do wszystkiego. Odpowiedzi 401, 403, 429 i 5xx zwracają unknown.

Które roboty AI są uwzględnione?

14 agentów od OpenAI, Anthropic, Google, Perplexity, Common Crawl, ByteDance, Apple, Meta i Amazon, pogrupowanych jako trenowanie, wyszukiwanie lub pobrania zlecone przez użytkownika.

Czy wynik jest buforowany?

Jednoznaczne wyniki są buforowane przez 15 minut. Dodaj skip_cache=1, aby pobrać plik ponownie. Test ścieżki jest zawsze obliczany dla Twojego zapytania.

Ile kosztuje w kredytach?

Jeden kredyt za zapytanie. Zapytania kończące się stanem nieznanym są zwracane.

Narzędzia pokrewne i zasoby

Kody statusu HTTP

Oto kody statusu HTTP, które należy obsługiwać, aby odróżnić udane odpowiedzi, problemy z uwierzytelnianiem, kredyty, limity żądań, brakujące dane i błędy usług nadrzędnych.

OK 200

Żądanie zakończone pomyślnie

Nieprawidłowe żądanie 400

Nieprawidłowe parametry

Nieautoryzowany 401

Brakuje klucza API lub sesji albo są one nieprawidłowe.

Wymagana płatność 402

Za mało kredytów, aby wykonać to żądanie.

Zbyt wiele żądań 429

Przekroczono limit żądań

Błędna odpowiedź bramy 502

Błąd upstream RDAP

Sprawdź robots.txt

Zacznij za darmo Zobacz dokumentację Wypróbuj bezpłatne narzędzie