Dane internetowe

API do testowania pliku robots.txt

Wyślij listę adresów URL i agentów użytkownika, a otrzymasz wynik dla każdej kombinacji. Przetestuj działający plik robots.txt witryny lub wklejoną wersję roboczą, zobacz regułę Allow lub Disallow, która rozstrzyga, oraz jej wiersz, i wyłap błędy składni, zanim zrobią to roboty.

Zobacz dokumentację Wypróbuj bezpłatne narzędzie Poznaj wszystkie API

Punkty końcowe Aktywny

POST /v1/robots/test

Przykładowe żądanie

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Przykładowa odpowiedź 200 OK

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reas
...

Przykładowe żądanie POST /v1/robots/test

Kluczowe funkcje 4

Często zadawane pytania 4

Kody statusu HTTP 200 / 400 / 401 / 402 / 409 / 422 / 429

Kategoria Dane internetowe

Punkty końcowe 1

Kluczowe funkcje 4

Często zadawane pytania 4

Używany przez ludzi w tych firmach

Sygnały zaufania przed integracją

Przejrzysta dokumentacja, uwierzytelnione żądania i widoczne informacje o niezawodności ułatwiają ocenę DomScan przed wdrożeniem.

Aktywna Status usługi

Przed integracją sprawdź bieżący stan usługi i udokumentowane odpowiedzi na błędy.

OpenAPI Materiały API

Linki OpenAPI, Swagger, Postman, CLI, SDK i MCP są dostępne jednym kliknięciem.

Klucze API Chroniony dostęp

Uwierzytelnione endpointy używają kluczy API z jasnymi kosztami kredytów przed wywołaniem.

10,000 Darmowy limit

Zacznij od 10 000 kredytów miesięcznie i przejdź wyżej dopiero, gdy użycie wzrośnie.

Co ta API pomaga wdrożyć

Użyj tej strony jako briefu produkcyjnego: endpointy, przykłady, kształt odpowiedzi i elementy workflow potrzebne do podłączenia DomScan do produktu.

Workflow produktu

Osadzaj sprawdzanie domen, DNS intelligence, sygnały ryzyka lub enrichment w onboardingu, wyszukiwarce i narzędziach wewnętrznych.

Automatyzacja analityków

Zastąp powtarzalne ręczne lookupy zadaniami cyklicznymi, alertami i odtwarzalnymi krokami dochodzenia.

Czyste dane JSON

Używaj przewidywalnych pól, udokumentowanych kodów statusu i kosztów kredytów zamiast scrapować strony dostawców.

AI i narzędzia ops

Zasilaj agentów, dashboardy, playbooki SOAR i CRMy przez OpenAPI, SDK, Postman lub MCP.

Workflow integracji

Prosta ścieżka od pierwszego requestu do powtarzalnego użycia produkcyjnego.

Uwierzytelnij raz

Wyślij klucz API w udokumentowanym nagłówku i utrzymuj spójne requesty między usługami.

Odpytuj z przykładami

Zacznij od przykładów curl i HTTP, potem zmapuj parametry w kodzie aplikacji.

Operuj i monitoruj

Używaj kodów statusu, kosztów kredytów i pól odpowiedzi do retries, logów i alertów.

Zestaw developerski

Przejdź z tej strony do dokumentacji machine-readable, kolekcji requestów, SDK lub narzędzi agentowych.

Schemat OpenAPI

Generuj klientów lub sprawdzaj każdy kształt requestu i odpowiedzi.

Kolekcja Postman

Importuj gotowe requesty do testów manualnych i przekazania zespołowi.

SDK i CLI

Używaj utrzymywanych pakietów i workflow command-line zamiast pisać boilerplate.

Integracja MCP

Udostępniaj domain intelligence agentom AI i wewnętrznym asystentom.

Mapa parametrów i odpowiedzi

Przejrzyj inputy, pola outputu i kody statusu przed podłączeniem endpointu do klienta.

Parametry requestu

Parametr

robots_txturlurlsuser_agents

Pola odpowiedzi

Przykładowa odpowiedź

sourcestatussummarysummary.testssummary.allowedsummary.disallowedsummary.unknownresultsissues

Zakres statusów

Kody statusu HTTP

200400401402409422429

Punkty końcowe

POST /v1/robots/test

Kredyty: 1Uwierzytelnianie: Uwierzytelnienie required

Sygnały zaufania przed integracją

Przejrzysta dokumentacja, uwierzytelnione żądania i widoczne informacje o niezawodności ułatwiają ocenę DomScan przed wdrożeniem.

Status usługi Materiały API

Linki OpenAPI, Swagger, Postman, CLI, SDK i MCP są dostępne jednym kliknięciem.

Klucze API Chroniony dostęp

Uwierzytelnione endpointy używają kluczy API z jasnymi kosztami kredytów przed wywołaniem.

Darmowy limit Zarejestruj się bezpłatnie

Zacznij od 10 000 kredytów miesięcznie i przejdź wyżej dopiero, gdy użycie wzrośnie.

Aktywny Przykładowe żądanie

Zacznij od przykładów curl i HTTP, potem zmapuj parametry w kodzie aplikacji.

Kluczowe funkcje

Wklejony lub działający plik

Wyślij robots_txt, aby przetestować wersję roboczą bez pobierania czegokolwiek, albo url, aby przetestować plik działający w witrynie.

Wyniki hurtowe

Do 100 adresów URL i 10 agentów użytkownika na żądanie, z podsumowaniem dla każdego robota i wierszem dla każdej kombinacji.

Standardowe dopasowanie

Reguły są dopasowywane zgodnie z oficjalnym standardem robots.txt (RFC 9309): wygrywa najdłuższe dopasowanie, przy remisie wygrywa Allow, a symbole wieloznaczne * i $ są obsługiwane.

Kontrola składni

Literówki, reguły poza grupą, nieprawidłowe wiersze i inne problemy są wymienione wraz z numerami wierszy.

Przykładowe żądanie

POST /v1/robots/test bash

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Przykładowa odpowiedź

200 OK json

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reason": "matched_disallow",
      "matched_rule": { "type": "disallow", "path": "/admin/", "line": 5 }
    }
  ],
  "issues": [{ "code": "directive_typo", "count": 1, "lines": [9] }]
}

Często zadawane pytania

Czym to się różni od API Robots.txt?

API Robots.txt odczytuje działający plik witryny i testuje jednego robota oraz jedną ścieżkę. Test sprawdza wiele adresów URL i robotów w jednym żądaniu i potrafi też przetestować wklejony plik robots.txt.

Który agent użytkownika jest dopasowywany?

Nazwa robota, bez rozróżniania wielkości liter. Pełny ciąg w stylu przeglądarki, taki jak ten Googlebota, jest najpierw sprowadzany do nazwy robota, a odpowiedź pokazuje użytą nazwę.

Co dzieje się z adresami URL w innej domenie?

Gdy używany jest działający plik, adres URL w innym hoście niż witryna jest zgłaszany jako other_host bez wyniku, ponieważ każdy host ma własny plik robots.txt.

Ile to kosztuje?

1 kredyt za żądanie, dla maksymalnie 1000 wyników. Gdy nie można odczytać działającego pliku robots.txt, wyniki są nieznane, a kredyt jest zwracany.

Narzędzia pokrewne i zasoby

Kody statusu HTTP

Oto kody statusu HTTP, które należy obsługiwać, aby odróżnić udane odpowiedzi, problemy z uwierzytelnianiem, kredyty, limity żądań, brakujące dane i błędy usług nadrzędnych.

OK 200

Żądanie zakończone pomyślnie

Nieprawidłowe żądanie 400

Nieprawidłowe parametry

Nieautoryzowany 401

Brakuje klucza API lub sesji albo są one nieprawidłowe.

Wymagana płatność 402

Za mało kredytów, aby wykonać to żądanie.

HTTP 409 409

Oto kody statusu HTTP, które należy obsługiwać, aby odróżnić udane odpowiedzi, problemy z uwierzytelnianiem, kredyty, limity żądań, brakujące dane i błędy usług nadrzędnych.

HTTP 422 422

Oto kody statusu HTTP, które należy obsługiwać, aby odróżnić udane odpowiedzi, problemy z uwierzytelnianiem, kredyty, limity żądań, brakujące dane i błędy usług nadrzędnych.

Zbyt wiele żądań 429

Przekroczono limit żądań

Przetestuj swój plik robots.txt

Zacznij za darmo Zobacz dokumentację Wypróbuj bezpłatne narzędzie