Web Verileri

Robots.txt Test API'si

Bir URL ve kullanıcı aracısı listesi gönderin, her kombinasyon için bir karar alın. Bir sitenin canlı robots.txt dosyasını veya yapıştırdığınız taslağı test edin, kararı veren Allow veya Disallow kuralını ve satırını görün, sözdizimi hatalarını tarayıcılardan önce yakalayın.

Dokümantasyonu görüntüle Ücretsiz aracı deneyin Tüm API'leri keşfedin

Uç Noktalar Aktif

POST /v1/robots/test

Örnek istek

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Örnek yanıt 200 OK

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reas
...

Örnek istek POST /v1/robots/test

Temel Özellikler 4

Sık sorulan sorular 4

HTTP durum kodları 200 / 400 / 401 / 402 / 409 / 422 / 429

Kategori Web Verileri

Uç Noktalar 1

Temel Özellikler 4

Sık sorulan sorular 4

Bu şirketlerdeki kişiler tarafından kullanılıyor

Entegrasyondan önce güven sinyalleri

Şeffaf dokümanlar, kimliği doğrulanmış istekler ve görünür güvenilirlik ayrıntıları, yayına almadan önce DomScan’i değerlendirmeyi kolaylaştırır.

Canlı Hizmet durumu

Entegrasyondan önce canlı hizmet durumunu ve belgelenmiş hata yanıtlarını kontrol edin.

OpenAPI API materyalleri

OpenAPI, Swagger, Postman, CLI, SDK ve MCP bağlantıları bir tık uzakta.

API anahtarları Korumalı erişim

Kimliği doğrulanmış endpointler, çağrıdan önce net kredi maliyetleriyle API anahtarları kullanır.

10,000 Ücretsiz hak

Aylık 10.000 krediyle başlayın ve yalnızca kullanım arttığında yükseltin.

Bu API neyi yayına almanıza yardımcı olur

Bu sayfayı üretim özeti olarak kullanın: endpointler, örnekler, yanıt yapısı ve DomScan’i ürününüze bağlamak için gereken workflow parçaları.

Ürün workflow’ları

Domain kontrollerini, DNS istihbaratını, risk sinyallerini veya zenginleştirmeyi onboarding, arama ve dahili araçlara gömün.

Analist otomasyonu

Tekrarlanan manuel sorguları planlı işler, uyarılar ve yeniden üretilebilir araştırma adımlarıyla değiştirin.

Temiz JSON verisi

Sağlayıcı sayfalarını kazımak yerine öngörülebilir alanlar, belgelenmiş durum kodları ve kredi maliyetleri kullanın.

AI ve ops araçları

OpenAPI, SDK, Postman veya MCP üzerinden agent’ları, panoları, SOAR playbook’larını ve CRM’leri besleyin.

Entegrasyon workflow’u

İlk istekten tekrarlanabilir üretim kullanımına giden basit yol.

Bir kez doğrulayın

API anahtarınızı belgelenmiş header ile gönderin ve servisler arasında istekleri tutarlı tutun.

Örneklerle sorgulayın

curl ve HTTP örneklerinden başlayın, sonra parametreleri uygulama kodunuza eşleyin.

İşletin ve izleyin

Retry, log ve uyarılar için durum kodlarını, kredi maliyetlerini ve yanıt alanlarını kullanın.

Geliştirici kiti

Bu sayfadan makine tarafından okunabilir dokümanlara, istek koleksiyonlarına, SDK’lere veya agent araçlarına geçin.

OpenAPI şeması

Client üretin veya her istek ve yanıt şeklini inceleyin.

Postman koleksiyonu

Manuel test ve ekip devri için hazır istekleri içe aktarın.

SDK’ler ve CLI

Boilerplate yazmak yerine bakımı yapılan paketleri ve komut satırı workflow’larını kullanın.

MCP entegrasyonu

Domain intelligence’ı AI agent’larına ve dahili asistan workflow’larına açın.

Parametre ve yanıt haritası

Endpoint’i client’ınıza bağlamadan önce girdileri, çıktı alanlarını ve durum kodlarını tarayın.

İstek parametreleri

Parametre

robots_txturlurlsuser_agents

Yanıt alanları

Örnek yanıt

sourcestatussummarysummary.testssummary.allowedsummary.disallowedsummary.unknownresultsissues

Durum kapsamı

HTTP durum kodları

200400401402409422429

Uç Noktalar

POST /v1/robots/test

Kredi: 1Kimlik Doğrulama: Kimlik dogrulama gerekli

Entegrasyondan önce güven sinyalleri

Şeffaf dokümanlar, kimliği doğrulanmış istekler ve görünür güvenilirlik ayrıntıları, yayına almadan önce DomScan’i değerlendirmeyi kolaylaştırır.

Hizmet durumu API materyalleri

OpenAPI, Swagger, Postman, CLI, SDK ve MCP bağlantıları bir tık uzakta.

API anahtarları Korumalı erişim

Kimliği doğrulanmış endpointler, çağrıdan önce net kredi maliyetleriyle API anahtarları kullanır.

Ücretsiz hak Ücretsiz kaydolun

Aylık 10.000 krediyle başlayın ve yalnızca kullanım arttığında yükseltin.

Aktif Örnek istek

curl ve HTTP örneklerinden başlayın, sonra parametreleri uygulama kodunuza eşleyin.

Temel Özellikler

Yapıştırılan veya canlı dosya

Hiçbir şey çekmeden taslağı test etmek için robots_txt gönderin veya sitede yayında olan dosyayı test etmek için url gönderin.

Toplu kararlar

İstek başına en fazla 100 URL ve 10 kullanıcı aracısı; tarayıcı başına toplamlar ve her kombinasyon için bir satır ile.

Standart eşleştirme

Kurallar, resmi robots.txt standardının (RFC 9309) tanımladığı şekilde eşleştirilir: en uzun eşleşme kazanır, eşitlikte Allow kazanır ve * ile $ joker karakterleri desteklenir.

Sözdizimi kontrolleri

Yazım hataları, grup dışındaki kurallar, geçersiz satırlar ve diğer sorunlar satır numaralarıyla listelenir.

Örnek istek

POST /v1/robots/test bash

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

Örnek yanıt

200 OK json

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reason": "matched_disallow",
      "matched_rule": { "type": "disallow", "path": "/admin/", "line": 5 }
    }
  ],
  "issues": [{ "code": "directive_typo", "count": 1, "lines": [9] }]
}

Sık sorulan sorular

Bu, Robots.txt API'sinden nasıl farklı?

Robots.txt API'si bir sitenin canlı dosyasını okur ve tek bir tarayıcıyı ve yolu test eder. Test aracı ise tek istekte çok sayıda URL'yi ve tarayıcıyı denetler, ayrıca yapıştırdığınız bir robots.txt dosyasını da test edebilir.

Hangi kullanıcı aracısı eşleştirilir?

Büyük/küçük harf ayrımı olmadan tarayıcı adı. Googlebot'unki gibi tam bir tarayıcı tarzı dize önce tarayıcı adına indirgenir ve yanıt kullanılan adı gösterir.

Başka bir ana bilgisayardaki URL'lere ne olur?

Canlı dosya kullanıldığında, siteden farklı bir ana bilgisayardaki URL, her ana bilgisayarın kendi robots.txt dosyası olduğu için karar verilmeden other_host olarak raporlanır.

Ne kadar tutar?

İstek başına 1 kredi, en fazla 1.000 karar için. Canlı robots.txt okunamazsa kararlar bilinmiyor olur ve kredi iade edilir.

İlgili araçlar ve kaynaklar

HTTP durum kodları

İstemcinizin işlemesi gereken HTTP durum kodları şunlardır; böylece başarılı yanıtları, kimlik doğrulama sorunlarını, kredileri, hız sınırlarını, eksik verileri ve üst kaynak hatalarını birbirinden ayırabilirsiniz.

OK 200

İstek başarılı

Hatalı İstek 400

Geçersiz parametreler

Yetkisiz 401

API anahtarı veya oturum eksik ya da geçersiz.

Ödeme Gerekli 402

Bu isteği çalıştırmak için yeterli krediniz yok.

HTTP 409 409

HTTP 422 422

Çok Fazla İstek 429

Hız sınırı aşıldı

robots.txt dosyanızı test edin

Ücretsiz başlayın Dokümantasyonu görüntüle Ücretsiz aracı deneyin