Geliştiriciler, araştırmacılar ve ajan geliştiricileri için
Bir ürün veya iş akışı yapılandırılmış bir yanıtta güncel herkese açık sayfa kanıtına ihtiyaç duyduğunda odaklı API’leri kullanın.
Bir ürün, sonuç, endpoint yolu veya API konusu deneyin.
Web Verileri
Bir URL’den okunabilir içeriğe, son hedefine, görünür teknolojilere, kategoriye ve URL sinyallerine geçin.
Bir ürün veya iş akışı yapılandırılmış bir yanıtta güncel herkese açık sayfa kanıtına ihtiyaç duyduğunda odaklı API’leri kullanın.
Analiz için içerik toplayın, bir hedefi izlemeden önce hedefini takip edin veya bilinen bir sayfayı teknoloji ve kategori bağlamıyla zenginleştirin.
Sayfa içeriği için Scrape kullanın. Redirects, Technology Detection, Website Categorization veya URL Intelligence’ı yalnızca bağlam kararı değiştirdiğinde ekleyin.
Herkese açık web sayfalarını ve belgeleri HTML, Markdown, LLM’e hazır metin veya düz metin olarak alın; sayfa sayfa, toplu olarak ya da tüm siteyi tarayarak.
Şu durumda seçin: Herkese açık sayfalardan, PDF’lerden veya e-tablolardan temiz HTML, metin ya da Markdown gerektiğinde seçin; tek bir sayfadan tüm siteye kadar. Oluşturma veya eş zamansız toplamayı yalnızca destekleniyor ve gerekiyorsa kullanın.
Bir URL için tam yönlendirme zincirini izleyin.
Şu durumda seçin: Hedef ve yönlendirme zinciri sayfa gövdesinden daha önemli olduğunda seçin.
CMS, çerçeveler ve hizmetler de dahil olmak üzere bir web sitesi tarafından kullanılan teknoloji yığınını algılayın.
Şu durumda seçin: Açıkta kalan framework, platform, analiz veya altyapı teknolojilerine dair kanıt gerektiğinde seçin.
robots.txt dosyasını ayrıştırın, her tarayıcıyı ve yolu test edin, engellenen yapay zeka tarayıcılarını görün.
Şu durumda seçin: Bir sitenin robots.txt dosyasını okumak, bir tarayıcının bir yolu çekip çekemeyeceğini test etmek ve hangi yapay zekâ tarayıcılarına izin verildiğini ya da hangilerinin engellendiğini görmek için seçin.
XML sitemap dosyalarını bulun ve URL sayısı, lastmod güncelliği ve protokol sorunlarıyla denetleyin.
Şu durumda seçin: Bir sitenin XML sitemap dosyalarını bulmak; sabit bir dosya bütçesi içinde URL sayısını, lastmod güncelliğini ve protokol sorunlarını kontrol etmek için seçin.
Başlıkları, meta etiketlerini, başlık yapısını, bağlantıları, görselleri ve yapılandırılmış veriyi SEO puanıyla denetleyin.
Şu durumda seçin: Tek bir sayfayı meta etiketlerinden başlık yapısına, bağlantılardan görsellere ve yapılandırılmış veriye kadar, JavaScript işleme ile veya işleme olmadan sayfa içi SEO açısından denetlemek için bunu seçin.
Hangi SEO sinyallerinin JavaScript'e bağlı olduğunu görmek için ham ve işlenmiş HTML'i karşılaştırın.
Şu durumda seçin: Ham ve işlenmiş HTML'ini karşılaştırarak bir sayfanın hangi SEO sinyallerinin yalnızca JavaScript çalıştıktan sonra var olduğunu görmek için bunu seçin.
JSON-LD, Microdata ve RDFa schema.org işaretlemesini çıkarın ve doğrulayın.
Şu durumda seçin: Bir sayfadan JSON-LD, Microdata ve RDFa verilerini çıkarmak ve yaygın zengin sonuç türleri için schema.org kurallarına göre kontrol etmek için bunu seçin.
Bir sayfada en sık geçen anahtar kelimeleri ve ifadeleri yoğunluk yüzdeleriyle bulun.
Şu durumda seçin: Bir sayfadaki kelime ve ifade sıklığını ölçmek ve hedef anahtar kelimelerin nerede göründüğünü kontrol etmek için bunu seçin.
Sayfa bağlantılarını listeleyin ve sınırlı durum kontrolleriyle kırık olanları bulun.
Şu durumda seçin: Bir sayfadaki bağlantıları listelemek ve kırık olanları bulmak için bunu seçin; engellenen kontroller unknown olarak kalır.
Hreflang kodlarını, x-default değerini, kendine verilen referansları ve geri bağlantıları doğrulayın.
Şu durumda seçin: Bir sayfanın hreflang etiketlerini doğrulamak ve alternatif dil sayfalarının geri bağlantı verdiğini onaylamak için bunu seçin.
Yapıştırılan veya canlı robots.txt ile çok sayıda URL'yi ve tarayıcıyı test edin.
Şu durumda seçin: Çok sayıda URL'yi ve tarayıcıyı yapıştırılan veya canlı bir robots.txt'e karşı aynı anda test etmek için bunu seçin.
ads.txt ve app-ads.txt kayıtlarını doğrulayın, satıcıları sellers.json ile teyit edin.
Şu durumda seçin: Bir sitenin ads.txt veya app-ads.txt dosyasını doğrulamak ve yetkili satıcıları sellers.json ile teyit etmek için bunu seçin.
Sayfaları yinelenen içerik, başlık ve meta açıklamaları açısından karşılaştırın.
Şu durumda seçin: En fazla 10 sayfayı yinelenen içerik ile tekrarlanan başlıklar, meta açıklamaları ve H1'ler açısından karşılaştırmak için bunu seçin.
En fazla 50 sayfayı tarayın; kırık bağlantıları, yinelenenleri ve sayfa içi sorunları bulun.
Şu durumda seçin: Bir sitenin en fazla 50 sayfasını taramak ve kırık bağlantıları, yinelenenleri ve sayfa içi SEO sorunlarını tek raporda bulmak için bunu seçin.
Herhangi bir sayfayı masaüstü veya mobilde görsel ya da PDF olarak yakalayın.
Şu durumda seçin: Bir sayfayı masaüstü veya mobilde PNG, JPEG, WebP ya da PDF olarak yakalamak için bunu seçin.
İhlaller, etkilenen öğeler ve puanla otomatik WCAG denetimi çalıştırın.
Şu durumda seçin: Bir sayfada ihlalleri etkiye göre ve etkilenen öğelerle birlikte veren otomatik WCAG denetimi çalıştırmak için bunu seçin.
Onaydan önce görülen çerezleri, izleyicileri ve onay yöneticisini listeleyin.
Şu durumda seçin: Bir sayfanın onaydan önce yüklediği çerezleri, izleyicileri ve onay yöneticisini görmek için bunu seçin.
Sayfa baytlarını, istekleri, üçüncü tarafları ve yüklenme sürelerini ölçün.
Şu durumda seçin: Bir sayfanın baytlarını, isteklerini, üçüncü taraflarını, işlemeyi engelleyen kaynaklarını ve sürelerini ölçmek için bunu seçin.
Bir web sitesini endüstri, içerik türü ve konular tarafından kategorize edin.
Şu durumda seçin: Yönlendirme, araştırma veya inceleme için geniş bir içerik ya da işletme kategorisi gerektiğinde seçin.
Bir URL'den normalleştirilmiş sayfa meta verilerini, önizleme alanlarını, yapılandırılmış verileri ve herkese açık kimlik sinyallerini çıkarın.
Şu durumda seçin: Derinlemesine toplamadan önce normalleştirilmiş URL yapısı ve risk odaklı URL sinyalleri gerektiğinde seçin.
URL’yi inceleyin, sayfayı Markdown olarak toplayın ve ajan görevinin ihtiyaç duyduğu kategori veya teknoloji kanıtını ekleyin.
URL’yi inceleyin, sayfayı Markdown olarak toplayın ve ajan görevinin ihtiyaç duyduğu kategori veya teknoloji kanıtını ekleyin.
Temsili bir sayfa toplayın, son hedefini çözümleyin ve içeriği site kategorisi ve açık teknoloji sinyalleriyle birleştirin.
Markdown çıktısıyla POST /v1/scrape adresine herkese açık bir URL gönderin. Önce standart modu kullanın, yalnızca sayfa JavaScript gerektiriyorsa oluşturmayı seçin.
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}
Bir sayfayı eş zamanlı olarak kazıyın veya 1 ile 100 herkese açık URL’yi ücretli eş zamansız Scrape görevine gönderin. Teknoloji tespiti de ürüne özel toplu ve görev yollarını destekler.
Toplama yönlendirme, yanıt boyutu, eşzamanlılık ve işleme modlarında sınırlar kullanır. Her sayfaya erişim garanti edilmez.
Yeterli olan en düşük toplama modunu seçin, hedef kanıtını koruyun ve sonucu yalnızca iş akışının ihtiyacı olduğunda zenginleştirin.
Daha Fazla BilgiBir ajanın sayfa toplamasını, arkasındaki alan adını anlamasını ve yalnızca görev gerektirdiğinde daha derin kanıt istemesini sağlayın.
Daha Fazla BilgiHerkese açık sayfaları toplayın ve alan adı, şirket, teknoloji, DNS ve altyapı bağlamıyla bağlayın.
Daha Fazla BilgiBeş Web Verisi ürününü inceleyin veya belgelerden ilk Scrape isteğinizi yapın.