Tüm araçlar Web Verileri Alan Adı İstihbaratı DNS ve Altyapı Güvenlik ve Güven Kimlik ve Doğrulama İzleme ve Otomasyon

Robots.txt Test Aracı

Tarayıcıların URL'lerinizi ziyaret edip edemeyeceğini kontrol edin. Bir sitenin canlı robots.txt dosyasını veya yayınlamadan önce yapıştırdığınız taslağı kullanarak en fazla 100 URL'yi aynı anda birden fazla kullanıcı aracısına karşı test edin.

Yukarıdaki sitenin canlı robots.txt dosyasını test etmek için boş bırakın.

Sonuçlar

        
Etkileşimli istihbarat aracı

Kontrolü çalıştırın, sonra iş akışına dönüştürün

Hızlı yanıt için tarayıcı aracını kullanın; tekrar edilebilir hale geldiğinde aynı mantığı scriptlere, izlemeye veya ürün akışlarına taşıyın.

1
Canlı formla başlayın

Bir domain, URL, IP, e-posta veya kayıt girin ve kurulum yapmadan odaklanmış sonuç alın.

2
Karara hazır sinyalleri inceleyin

Çıktılar ham sağlayıcı gürültüsü yerine durumları, riskleri, kayıtları ve sonraki adımları öne çıkarır.

3
Kazanan iş akışını otomatikleştirin

İstek ve yanıt örnekleriyle tek seferlik kontrolü API çağrısına veya reçeteye dönüştürün.

Bu şirketlerdeki kişiler tarafından kullanılıyor

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse

Bu aracın karar vermenize yardım ettiği şey

Her sayfa yalnızca ham sorgu değil, pratik bir operasyon sorusu etrafında tasarlanmıştır.

Sinyal

Güncel DNS, kayıt, güvenlik, fiyatlandırma veya itibar kanıtlarını görün.

Bağlam

Sonucu ilişkili kontrollerle karşılaştırarak sonraki adıma daha güvenle geçin.

Aksiyon

Örnekleri kopyalayın, bağlı araçları açın veya ölçek gerektiğinde API dokümantasyonuna geçin.

Entegrasyondan önce güven sinyalleri

Şeffaf dokümanlar, kimliği doğrulanmış istekler ve görünür güvenilirlik ayrıntıları, yayına almadan önce DomScan’i değerlendirmeyi kolaylaştırır.

Hizmet durumu API materyalleri

OpenAPI, Swagger, Postman, CLI, SDK ve MCP bağlantıları bir tık uzakta.

API anahtarları Korumalı erişim

Kimliği doğrulanmış endpointler, çağrıdan önce net kredi maliyetleriyle API anahtarları kullanır.

Ücretsiz hak Ücretsiz kaydolun

Aylık 10.000 krediyle başlayın ve yalnızca kullanım arttığında yükseltin.

Aktif Örnek istek

curl ve HTTP örneklerinden başlayın, sonra parametreleri uygulama kodunuza eşleyin.

Temel Özellikler

Yayınlamadan önce taslağı test edin

Bir robots.txt yapıştırın ve sitenizde hiçbir şeyi değiştirmeden URL'lerinize nasıl davrandığını görün.

Çok sayıda URL, çok sayıda tarayıcı

Tek kontrolde en fazla 100 URL ve 10 kullanıcı aracısı, her kombinasyon için bir karar ile.

Kararı veren kural

Her karar, resmi robots.txt standardını izleyerek eşleşen Allow veya Disallow kuralını ve satır numarasını gösterir.

Örnek istek

POST /v1/robots/test json
{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}

Aynı API üzerine kurulu

Tarayıcı deneyimi DomScan’in yapılandırılmış endpointlerini önceden gösterir; ekipler kod yazmadan önce use case doğrulayabilir.

Sık sorulan sorular

Bir robots.txt dosyasını yayına girmeden test edebilir miyim?

Evet. İçeriği robots.txt kutusuna yapıştırın; sitenizden hiçbir şey çekilmez. Şu anda yayında olan dosyayı test etmek için kutuyu boş bırakın.

Tam bir kullanıcı aracısı dizesi yapıştırabilir miyim?

Evet. Googlebot'un gönderdiği gibi tam bir dize, robots.txt kurallarının eşleştiği tarayıcı adına indirgenir.

Bilinmiyor ne anlama gelir?

Canlı robots.txt okunamadı; örneğin site isteği engelledi veya zaman aşımı oluştu. Bilinmiyor hiçbir zaman izin verilmiş sayılmaz ve kontrolün ücreti iade edilir.

İlgili araçlar ve kaynaklar