Canlı formla başlayın
Bir domain, URL, IP, e-posta veya kayıt girin ve kurulum yapmadan odaklanmış sonuç alın.
Tüm araçlar
Web Verileri
Alan Adı İstihbaratı
DNS ve Altyapı
Güvenlik ve Güven
Kimlik ve Doğrulama
İzleme ve Otomasyon
Robots.txt denetleyicisi
Bir web sitesi girin; robots.txt dosyasını okuyun, bir tarayıcının yolu getirip getiremeyeceğini test edin ve GPTBot, ClaudeBot, PerplexityBot ile diğer yapay zeka tarayıcılarına nasıl davranıldığını görün.
Sonuçlar
Etkileşimli istihbarat aracı
Kontrolü çalıştırın, sonra iş akışına dönüştürün
Hızlı yanıt için tarayıcı aracını kullanın; tekrar edilebilir hale geldiğinde aynı mantığı scriptlere, izlemeye veya ürün akışlarına taşıyın.
Karara hazır sinyalleri inceleyin
Çıktılar ham sağlayıcı gürültüsü yerine durumları, riskleri, kayıtları ve sonraki adımları öne çıkarır.
Kazanan iş akışını otomatikleştirin
İstek ve yanıt örnekleriyle tek seferlik kontrolü API çağrısına veya reçeteye dönüştürün.
Bu şirketlerdeki kişiler tarafından kullanılıyor
Bu aracın karar vermenize yardım ettiği şey
Her sayfa yalnızca ham sorgu değil, pratik bir operasyon sorusu etrafında tasarlanmıştır.
Güncel DNS, kayıt, güvenlik, fiyatlandırma veya itibar kanıtlarını görün.
Sonucu ilişkili kontrollerle karşılaştırarak sonraki adıma daha güvenle geçin.
Örnekleri kopyalayın, bağlı araçları açın veya ölçek gerektiğinde API dokümantasyonuna geçin.
Entegrasyondan önce güven sinyalleri
Şeffaf dokümanlar, kimliği doğrulanmış istekler ve görünür güvenilirlik ayrıntıları, yayına almadan önce DomScan’i değerlendirmeyi kolaylaştırır.
Hizmet durumu
API materyalleri
OpenAPI, Swagger, Postman, CLI, SDK ve MCP bağlantıları bir tık uzakta.
API anahtarları
Korumalı erişim
Kimliği doğrulanmış endpointler, çağrıdan önce net kredi maliyetleriyle API anahtarları kullanır.
Ücretsiz hak
Ücretsiz kaydolun
Aylık 10.000 krediyle başlayın ve yalnızca kullanım arttığında yükseltin.
Aktif
Örnek istek
curl ve HTTP örneklerinden başlayın, sonra parametreleri uygulama kodunuza eşleyin.
Temel Özellikler
RFC 9309 ayrıştırma
Gruplar, allow ve disallow kuralları, joker karakterler ve satır sonu bağlayıcıları standardın tarif ettiği gibi eşleştirilir; en uzun kural kazanır.
Yapay zeka tarayıcı matrisi
OpenAI, Anthropic, Google, Perplexity ve diğerlerinden eğitim, arama ve kullanıcı tarafından başlatılan ajanlar dahil 14 yapay zeka tarayıcısı için kök erişimi.
Dürüst bilinmeyen durumlar
Dosya bir engel, zaman aşımı veya sunucu hatası nedeniyle alınamazsa sonuç bilinmiyor olur; sessizce izin verilmiş sayılmaz.
Örnek istek
GET /v1/robots?url=example.comGET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/Aynı API üzerine kurulu
Tarayıcı deneyimi DomScan’in yapılandırılmış endpointlerini önceden gösterir; ekipler kod yazmadan önce use case doğrulayabilir.
Sık sorulan sorular
Bir sitede robots.txt yoksa ne olur?
404 veya 410 yanıtı tarama kısıtlaması olmadığı anlamına gelir, yani tüm yollara izin verilir. Denetleyici bunu bulunamadı olarak bildirir.
Yapay zeka tarayıcılarını nasıl engellerim?
Her tarayıcı için, örneğin GPTBot veya ClaudeBot, Disallow kuralı olan bir user-agent grubu ekleyin. Yapay zeka tarayıcı tablosu, mevcut kurallarınızın hangi botları zaten kapsadığını gösterir.
Robots.txt tüm botları durdurur mu?
Hayır. Robots.txt, kurallara uyan tarayıcıların izlediği bir taleptir. Erişim denetimi sağlamaz, bu nedenle özel içerik için kimlik doğrulama gerekir.