Web Verileri

Robots.txt API'si

Herhangi bir sitenin robots.txt dosyasını tek istekle alın ve ayrıştırın. Tarayıcı gruplarını, kuralları, bildirilen sitemap dosyalarını, bir user-agent ve yol için allow veya disallow kararını ve başlıca yapay zeka tarayıcıları için kök erişimini alın.

Dokümantasyonu görüntüle Ücretsiz aracı deneyin Tüm API'leri keşfedin

Uç Noktalar Aktif

GET /v1/robots

Örnek istek

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Örnek yanıt 200 OK

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "Cla
...

Örnek istek GET /v1/robots

Temel Özellikler 4

Sık sorulan sorular 4

HTTP durum kodları 200 / 400 / 401 / 402 / 429 / 502

Kategori Web Verileri

Uç Noktalar 1

Temel Özellikler 4

Sık sorulan sorular 4

Bu şirketlerdeki kişiler tarafından kullanılıyor

Entegrasyondan önce güven sinyalleri

Şeffaf dokümanlar, kimliği doğrulanmış istekler ve görünür güvenilirlik ayrıntıları, yayına almadan önce DomScan’i değerlendirmeyi kolaylaştırır.

Canlı Hizmet durumu

Entegrasyondan önce canlı hizmet durumunu ve belgelenmiş hata yanıtlarını kontrol edin.

OpenAPI API materyalleri

OpenAPI, Swagger, Postman, CLI, SDK ve MCP bağlantıları bir tık uzakta.

API anahtarları Korumalı erişim

Kimliği doğrulanmış endpointler, çağrıdan önce net kredi maliyetleriyle API anahtarları kullanır.

10,000 Ücretsiz hak

Aylık 10.000 krediyle başlayın ve yalnızca kullanım arttığında yükseltin.

Bu API neyi yayına almanıza yardımcı olur

Bu sayfayı üretim özeti olarak kullanın: endpointler, örnekler, yanıt yapısı ve DomScan’i ürününüze bağlamak için gereken workflow parçaları.

Ürün workflow’ları

Domain kontrollerini, DNS istihbaratını, risk sinyallerini veya zenginleştirmeyi onboarding, arama ve dahili araçlara gömün.

Analist otomasyonu

Tekrarlanan manuel sorguları planlı işler, uyarılar ve yeniden üretilebilir araştırma adımlarıyla değiştirin.

Temiz JSON verisi

Sağlayıcı sayfalarını kazımak yerine öngörülebilir alanlar, belgelenmiş durum kodları ve kredi maliyetleri kullanın.

AI ve ops araçları

OpenAPI, SDK, Postman veya MCP üzerinden agent’ları, panoları, SOAR playbook’larını ve CRM’leri besleyin.

Entegrasyon workflow’u

İlk istekten tekrarlanabilir üretim kullanımına giden basit yol.

Bir kez doğrulayın

API anahtarınızı belgelenmiş header ile gönderin ve servisler arasında istekleri tutarlı tutun.

Örneklerle sorgulayın

curl ve HTTP örneklerinden başlayın, sonra parametreleri uygulama kodunuza eşleyin.

İşletin ve izleyin

Retry, log ve uyarılar için durum kodlarını, kredi maliyetlerini ve yanıt alanlarını kullanın.

Geliştirici kiti

Bu sayfadan makine tarafından okunabilir dokümanlara, istek koleksiyonlarına, SDK’lere veya agent araçlarına geçin.

OpenAPI şeması

Client üretin veya her istek ve yanıt şeklini inceleyin.

Postman koleksiyonu

Manuel test ve ekip devri için hazır istekleri içe aktarın.

SDK’ler ve CLI

Boilerplate yazmak yerine bakımı yapılan paketleri ve komut satırı workflow’larını kullanın.

MCP entegrasyonu

Domain intelligence’ı AI agent’larına ve dahili asistan workflow’larına açın.

Parametre ve yanıt haritası

Endpoint’i client’ınıza bağlamadan önce girdileri, çıktı alanlarını ve durum kodlarını tarayın.

İstek parametreleri

Parametre

urldomainuser_agentpathskip_cache

Yanıt alanları

Örnek yanıt

statussitemapstesttest.user_agenttest.pathtest.allowedtest.matched_ruletest.matched_rule.typetest.matched_rule.pathtest.matched_rule.lineai_crawlers

Durum kapsamı

HTTP durum kodları

200400401402429502

Uç Noktalar

GET /v1/robots

Kredi: 1Kimlik Doğrulama: Kimlik dogrulama gerekli

Entegrasyondan önce güven sinyalleri

Şeffaf dokümanlar, kimliği doğrulanmış istekler ve görünür güvenilirlik ayrıntıları, yayına almadan önce DomScan’i değerlendirmeyi kolaylaştırır.

Hizmet durumu API materyalleri

OpenAPI, Swagger, Postman, CLI, SDK ve MCP bağlantıları bir tık uzakta.

API anahtarları Korumalı erişim

Kimliği doğrulanmış endpointler, çağrıdan önce net kredi maliyetleriyle API anahtarları kullanır.

Ücretsiz hak Ücretsiz kaydolun

Aylık 10.000 krediyle başlayın ve yalnızca kullanım arttığında yükseltin.

Aktif Örnek istek

curl ve HTTP örneklerinden başlayın, sonra parametreleri uygulama kodunuza eşleyin.

Temel Özellikler

Standart eşleştirme

Kurallar RFC 9309'a göre eşleştirilir: en belirgin user-agent grubu, en uzun yol eşleşmesi, eşitlikte allow ve * ile $ desteği.

Yapay zeka tarayıcı kapsamı

GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot, CCBot ve diğerleri için sahip ve amaç bilgisiyle kök erişimi.

Yol testi

Bir user-agent ve yol gönderin; kararı, kararı veren kuralı ve kuralın geldiği grubu alın.

Net hata durumları

Engellenen, hız sınırına takılan ve başarısız getirmeler bilinmiyor döndürür ve iade edilir; böylece eksik bir yanıt asla izin verilmiş olarak bildirilmez.

Örnek istek

GET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/ bash

curl -H "X-API-Key: $DOMSCAN_API_KEY" "https://domscan.net/v1/robots?url=example.com&user_agent=GPTBot&path=/blog/"

Örnek yanıt

200 OK json

{
  "status": "found",
  "sitemaps": ["https://example.com/sitemap.xml"],
  "test": {
    "user_agent": "GPTBot",
    "path": "/blog/",
    "allowed": false,
    "matched_rule": { "type": "disallow", "path": "/", "line": 2 }
  },
  "ai_crawlers": [
    { "bot": "GPTBot", "owner": "openai", "root_access": "disallowed", "group": "specific" },
    { "bot": "ClaudeBot", "owner": "anthropic", "root_access": "allowed", "group": "wildcard" }
  ]
}

Sık sorulan sorular

Eksik robots.txt nasıl bildirilir?

404 veya 410 yanıtı not_found döndürür; RFC 9309'a göre bu, tarayıcıların her şeye erişebileceği anlamına gelir. 401, 403, 429 ve 5xx yanıtları unknown döndürür.

Hangi yapay zeka tarayıcıları dahildir?

OpenAI, Anthropic, Google, Perplexity, Common Crawl, ByteDance, Apple, Meta ve Amazon'dan eğitim, arama veya kullanıcı tarafından başlatılan getirme olarak gruplanmış 14 ajan.

Sonuç önbelleğe alınıyor mu?

Kesin sonuçlar 15 dakika önbelleğe alınır. Dosyayı yeniden almak için skip_cache=1 ekleyin. Yol testi her zaman isteğiniz için hesaplanır.

Kaç kredi tutar?

İstek başına bir kredi. Bilinmiyor durumuyla biten istekler iade edilir.

İlgili araçlar ve kaynaklar

HTTP durum kodları

İstemcinizin işlemesi gereken HTTP durum kodları şunlardır; böylece başarılı yanıtları, kimlik doğrulama sorunlarını, kredileri, hız sınırlarını, eksik verileri ve üst kaynak hatalarını birbirinden ayırabilirsiniz.

OK 200

İstek başarılı

Hatalı İstek 400

Geçersiz parametreler

Yetkisiz 401

API anahtarı veya oturum eksik ya da geçersiz.

Ödeme Gerekli 402

Bu isteği çalıştırmak için yeterli krediniz yok.

Çok Fazla İstek 429

Hız sınırı aşıldı

Hatalı Ağ Geçidi 502

Yukarı akış RDAP hatası

Robots.txt kontrol edin

Ücretsiz başlayın Dokümantasyonu görüntüle Ücretsiz aracı deneyin