Zacznij od formularza live
Wpisz domenę, URL, IP, email lub rekord i otrzymaj skoncentrowany wynik bez konfiguracji.
Wszystkie narzędzia
Dane internetowe
Analiza domen
DNS i infrastruktura
Bezpieczeństwo i zaufanie
Tożsamość i weryfikacja
Monitorowanie i automatyzacja
Sprawdzanie robots.txt
Wpisz adres witryny, aby odczytać jej robots.txt, sprawdzić, czy robot może pobrać daną ścieżkę, i zobaczyć, jak traktowane są GPTBot, ClaudeBot, PerplexityBot i inne roboty AI.
Wyniki
Interaktywne narzędzie wywiadowcze
Uruchom sprawdzenie, potem wdroż workflow
Użyj narzędzia w przeglądarce, aby szybko uzyskać odpowiedź, a potem przenieś tę samą logikę do skryptów, monitoringu lub przepływów produktu, gdy stanie się powtarzalna.
Przejrzyj sygnały gotowe do decyzji
Wyniki pokazują statusy, ryzyka, rekordy i kolejne kroki zamiast surowego szumu dostawców.
Zautomatyzuj przepływ pracy, który działa
Użyj przykładów żądania i odpowiedzi, aby zmienić jednorazowy check w wywołanie API lub receptę.
Używany przez ludzi w tych firmach
W czym pomaga zdecydować to narzędzie
Każda strona odpowiada na praktyczne pytanie operacyjne, a nie tylko wykonuje surowy lookup.
Zobacz aktualne dowody DNS, rejestracji, bezpieczeństwa, cen lub reputacji.
Porównaj wynik z powiązanymi kontrolami, aby łatwiej zaufać kolejnemu krokowi.
Kopiuj przykłady, otwieraj powiązane narzędzia albo przejdź do dokumentacji API, gdy potrzebujesz skali.
Sygnały zaufania przed integracją
Przejrzysta dokumentacja, uwierzytelnione żądania i widoczne informacje o niezawodności ułatwiają ocenę DomScan przed wdrożeniem.
Status usługi
Materiały API
Linki OpenAPI, Swagger, Postman, CLI, SDK i MCP są dostępne jednym kliknięciem.
Klucze API
Chroniony dostęp
Uwierzytelnione endpointy używają kluczy API z jasnymi kosztami kredytów przed wywołaniem.
Darmowy limit
Zarejestruj się bezpłatnie
Zacznij od 10 000 kredytów miesięcznie i przejdź wyżej dopiero, gdy użycie wzrośnie.
Aktywny
Przykładowe żądanie
Zacznij od przykładów curl i HTTP, potem zmapuj parametry w kodzie aplikacji.
Kluczowe funkcje
Analiza zgodna z RFC 9309
Grupy, reguły allow i disallow, symbole wieloznaczne i zakończenia ścieżek są dopasowywane tak, jak opisuje standard, a wygrywa najdłuższa reguła.
Macierz robotów AI
Dostęp do katalogu głównego dla 14 robotów AI, w tym agentów do trenowania, wyszukiwania i działań zleconych przez użytkownika od OpenAI, Anthropic, Google, Perplexity i innych.
Uczciwe stany nieznane
Jeśli pliku nie można pobrać z powodu blokady, przekroczenia czasu lub błędu serwera, wynik to „nieznany”, a nie ciche zezwolenie.
Przykładowe żądanie
GET /v1/robots?url=example.comGET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/Zbudowane na tym samym API
Doświadczenie w przeglądarce pokazuje strukturalne endpointy DomScan, aby zespoły mogły zweryfikować use case przed pisaniem kodu.
Często zadawane pytania
Co się dzieje, gdy witryna nie ma robots.txt?
Odpowiedź 404 lub 410 oznacza brak ograniczeń indeksowania, więc każda ścieżka jest dozwolona. Narzędzie zgłasza to jako nie znaleziono.
Jak zablokować roboty AI?
Dodaj grupę user-agent dla każdego robota, na przykład GPTBot lub ClaudeBot, z regułą Disallow. Tabela robotów AI pokazuje, które boty obejmują już Twoje obecne reguły.
Czy robots.txt zatrzymuje wszystkie boty?
Nie. Robots.txt to prośba, której przestrzegają poprawnie działające roboty. Nie wymusza kontroli dostępu, dlatego prywatne treści wymagają uwierzytelniania.