Geliştiriciler, araştırmacılar ve ajan geliştiricileri için
Bir ürün veya iş akışı yapılandırılmış bir yanıtta güncel herkese açık sayfa kanıtına ihtiyaç duyduğunda odaklı API’leri kullanın.
Web Verileri
Herkese açık Web içeriğini kullanabileceğiniz bağlamla toplayın
Bir URL’den okunabilir içeriğe, son hedefine, görünür teknolojilere, kategoriye ve URL sinyallerine geçin.
İhtiyacınız olan çıktıyla başlayın
Analiz için içerik toplayın, bir hedefi izlemeden önce hedefini takip edin veya bilinen bir sayfayı teknoloji ve kategori bağlamıyla zenginleştirin.
Girdiler
URLAlan adı
Sonuçlar
ToplaDeğerlendirKeşfetZenginleştir
Soruyu yanıtlayan en dar ürünü seçin
Sayfa içeriği için Scrape kullanın. Redirects, Technology Detection, Website Categorization veya URL Intelligence’ı yalnızca bağlam kararı değiştirdiğinde ekleyin.
Web verisi kazıma
Herkese açık web sayfalarını HTML, Markdown veya metin olarak, senkron ve asenkron seçeneklerle alın.
Şu durumda seçin: Herkese açık bir sayfadan HTML, metin veya Markdown gerektiğinde seçin. Oluşturma veya eş zamansız toplamayı yalnızca destekleniyor ve gerekiyorsa kullanın.
- Girdiler
- URL
- Sonuçlar
- Topla
- Krediler
- 0-20
SenkronAsenkronRESTMCPSDK
Yönlendirme Zinciri
Bir URL için tam yönlendirme zincirini izleyin.
Şu durumda seçin: Hedef ve yönlendirme zinciri sayfa gövdesinden daha önemli olduğunda seçin.
- Girdiler
- URL, Alan adı
- Sonuçlar
- Topla, Değerlendir
- Krediler
- 2
SenkronRESTMCPSDKEtkileşimli araç
Teknoloji Yığını Algılaması
CMS, çerçeveler ve hizmetler de dahil olmak üzere bir web sitesi tarafından kullanılan teknoloji yığınını algılayın.
Şu durumda seçin: Açıkta kalan framework, platform, analiz veya altyapı teknolojilerine dair kanıt gerektiğinde seçin.
- Girdiler
- URL, Alan adı
- Sonuçlar
- Keşfet, Zenginleştir, Değerlendir
- Krediler
- 0-9
SenkronTopluAsenkronRESTMCPSDKEtkileşimli araç
Website Kategorilendirmesi
Bir web sitesini endüstri, içerik türü ve konular tarafından kategorize edin.
Şu durumda seçin: Yönlendirme, araştırma veya inceleme için geniş bir içerik ya da işletme kategorisi gerektiğinde seçin.
- Girdiler
- URL, Alan adı
- Sonuçlar
- Zenginleştir, Değerlendir
- Krediler
- 0-3
SenkronTopluRESTMCPSDKEtkileşimli araç
Birleşik URL İstihbaratı
Bir URL'den normalleştirilmiş sayfa meta verilerini, önizleme alanlarını, yapılandırılmış verileri ve herkese açık kimlik sinyallerini çıkarın.
Şu durumda seçin: Derinlemesine toplamadan önce normalleştirilmiş URL yapısı ve risk odaklı URL sinyalleri gerektiğinde seçin.
- Girdiler
- URL
- Sonuçlar
- Topla, Zenginleştir
- Krediler
- 2
SenkronTopluRESTMCPSDK
İş akışları
URL’yi inceleyin, sayfayı Markdown olarak toplayın ve ajan görevinin ihtiyaç duyduğu kategori veya teknoloji kanıtını ekleyin.
Sayfadan ajan için hazır bağlama
URL’yi inceleyin, sayfayı Markdown olarak toplayın ve ajan görevinin ihtiyaç duyduğu kategori veya teknoloji kanıtını ekleyin.
Web sitesi araştırma anlık görüntüsü
Temsili bir sayfa toplayın, son hedefini çözümleyin ve içeriği site kategorisi ve açık teknoloji sinyalleriyle birleştirin.
Bir herkese açık sayfayı Markdown olarak toplayın
Markdown çıktısıyla POST /v1/scrape adresine herkese açık bir URL gönderin. Önce standart modu kullanın, yalnızca sayfa JavaScript gerektiriyorsa oluşturmayı seçin.
Örnek İstek
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'Örnek Yanıt
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}Önce eş zamanlı, yük gerektirdiğinde görevler
Bir sayfayı eş zamanlı olarak kazıyın veya 1 ile 100 herkese açık URL’yi ücretli eş zamansız Scrape görevine gönderin. Teknoloji tespiti de ürüne özel toplu ve görev yollarını destekler.
SenkronTopluAsenkronRESTMCPSDKEtkileşimli araç
Sınırlandırılmış herkese açık sayfa toplama
Toplama yönlendirme, yanıt boyutu, eşzamanlılık ve işleme modlarında sınırlar kullanır. Her sayfaya erişim garanti edilmez.
İlgili çözümler
Herkese açık Web sayfalarını uygulamanızın kullanabileceği biçimde toplayın
Yeterli olan en düşük toplama modunu seçin, hedef kanıtını koruyun ve sonucu yalnızca iş akışının ihtiyacı olduğunda zenginleştirin.
Ajanlara açık sınırlarla güncel Web bağlamı sağlayın
Bir ajanın sayfa toplamasını, arkasındaki alan adını anlamasını ve yalnızca görev gerektirdiğinde daha derin kanıt istemesini sağlayın.
Rakip alan adları için tekrarlanabilir bir herkese açık kanıt kaydı oluşturun
Herkese açık sayfaları toplayın ve alan adı, şirket, teknoloji, DNS ve altyapı bağlamıyla bağlayın.
Bir sayfayla başlayın, sonra yalnızca ihtiyacınız olan bağlamı ekleyin
Beş Web Verisi ürününü inceleyin veya belgelerden ilk Scrape isteğinizi yapın.