Wszystkie narzędzia Dane internetowe Analiza domen DNS i infrastruktura Bezpieczeństwo i zaufanie Tożsamość i weryfikacja Monitorowanie i automatyzacja

Test pliku robots.txt

Sprawdź, czy roboty mogą odwiedzać Twoje adresy URL. Przetestuj do 100 adresów URL naraz względem kilku agentów użytkownika, używając działającego pliku robots.txt witryny lub wersji roboczej, którą wklejasz przed publikacją.

Wyniki

Interaktywne narzędzie wywiadowcze

Uruchom sprawdzenie, potem wdroż workflow

Użyj narzędzia w przeglądarce, aby szybko uzyskać odpowiedź, a potem przenieś tę samą logikę do skryptów, monitoringu lub przepływów produktu, gdy stanie się powtarzalna.

Zacznij od formularza live

Wpisz domenę, URL, IP, email lub rekord i otrzymaj skoncentrowany wynik bez konfiguracji.

Przejrzyj sygnały gotowe do decyzji

Wyniki pokazują statusy, ryzyka, rekordy i kolejne kroki zamiast surowego szumu dostawców.

Zautomatyzuj przepływ pracy, który działa

Użyj przykładów żądania i odpowiedzi, aby zmienić jednorazowy check w wywołanie API lub receptę.

Używany przez ludzi w tych firmach

W czym pomaga zdecydować to narzędzie

Każda strona odpowiada na praktyczne pytanie operacyjne, a nie tylko wykonuje surowy lookup.

Sygnał

Zobacz aktualne dowody DNS, rejestracji, bezpieczeństwa, cen lub reputacji.

Kontekst

Porównaj wynik z powiązanymi kontrolami, aby łatwiej zaufać kolejnemu krokowi.

Akcja

Kopiuj przykłady, otwieraj powiązane narzędzia albo przejdź do dokumentacji API, gdy potrzebujesz skali.

Sygnały zaufania przed integracją

Przejrzysta dokumentacja, uwierzytelnione żądania i widoczne informacje o niezawodności ułatwiają ocenę DomScan przed wdrożeniem.

Status usługi Materiały API

Linki OpenAPI, Swagger, Postman, CLI, SDK i MCP są dostępne jednym kliknięciem.

Klucze API Chroniony dostęp

Uwierzytelnione endpointy używają kluczy API z jasnymi kosztami kredytów przed wywołaniem.

Darmowy limit Zarejestruj się bezpłatnie

Zacznij od 10 000 kredytów miesięcznie i przejdź wyżej dopiero, gdy użycie wzrośnie.

Aktywny Przykładowe żądanie

Zacznij od przykładów curl i HTTP, potem zmapuj parametry w kodzie aplikacji.

Kluczowe funkcje

Testuj wersję roboczą przed publikacją

Wklej plik robots.txt i zobacz, jak traktuje Twoje adresy URL, bez zmieniania czegokolwiek w witrynie.

Wiele adresów URL, wiele robotów

Do 100 adresów URL i 10 agentów użytkownika w jednym sprawdzeniu, z wynikiem dla każdej kombinacji.

Reguła, która rozstrzyga

Każdy wynik pokazuje pasującą regułę Allow lub Disallow wraz z numerem wiersza, zgodnie z oficjalnym standardem robots.txt.

Przykładowe żądanie

POST /v1/robots/test json

{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}

Zbudowane na tym samym API

Doświadczenie w przeglądarce pokazuje strukturalne endpointy DomScan, aby zespoły mogły zweryfikować use case przed pisaniem kodu.

Otwórz dokumentację API Wszystkie narzędzia

Często zadawane pytania

Czy mogę przetestować plik robots.txt, zanim zacznie działać?

Tak. Wklej zawartość w polu robots.txt, a nic nie zostanie pobrane z Twojej witryny. Zostaw pole puste, aby przetestować plik, który działa obecnie.

Czy mogę wkleić pełny ciąg agenta użytkownika?

Tak. Pełny ciąg, taki jak ten wysyłany przez Googlebot, jest sprowadzany do nazwy robota, z którą dopasowywane są reguły robots.txt.

Co oznacza wynik nieznany?

Nie udało się odczytać działającego pliku robots.txt, na przykład dlatego, że witryna zablokowała żądanie lub upłynął limit czasu. Wynik nieznany nigdy nie jest traktowany jako dozwolony, a opłata za sprawdzenie jest zwracana.

Wsparcie