Geliştiriciler, veri ekipleri, araştırmacılar ve ajan geliştiricileri için
Sınırlandırılmış sayfa toplama, içerik çıkarma, araştırma girdileri ve herkese açık sayfa bağlamı için bu iş akışını kullanın.
Veri toplama çözümü
Herkese açık Web sayfalarını uygulamanızın kullanabileceği biçimde toplayın
Yeterli olan en düşük toplama modunu seçin, hedef kanıtını koruyun ve sonucu yalnızca iş akışının ihtiyacı olduğunda zenginleştirin.
Toplama bağlamıyla kullanılabilir sayfa içeriği
Desteklenen her istek için HTML, metin veya Markdown ile son hedef ve işleme kanıtını alın.
Tek başına URL güvenilir bir içerik kaydı değildir
Sayfa yönlendirebilir, JavaScript gerektirebilir, yanıt boyutu sınırını aşabilir veya uygulamanızın ihtiyaç duyduğu bağlamın yalnızca bir kısmını açığa çıkarabilir.
Toplama sınırlıdır ve erişim garanti edilmez
DomScan kimlik doğrulamayı, paywall’ları, erişim kontrollerini veya hedef kısıtlamalarını aşmaz ve her herkese açık URL’nin toplanacağını garanti etmez.
İş akışı
Desteklenen her istek için HTML, metin veya Markdown ile son hedef ve işleme kanıtını alın.
Hedef URL’yi inceleyin ve normalleştirin
Toplamadan önce hedef veya URL risk sinyallerinin kontrol edilmesi gerekiyorsa URL Intelligence veya Redirects kullanın.
Yeterli olan en düşük modla toplayın
Standart Scrape ile başlayın, dayanıklı yeniden denemeyi yalnızca yararlı olduğunda seçin ve oluşturmayı yalnızca JavaScript’e bağlı içerik için kullanın.
Kararı değiştirdiğinde yapılandırılmış bağlam ekleyin
Alt görev bu sinyallere ihtiyaç duyduğunda toplama sonrasında Website Categorization veya Technology Detection isteyin.
Herkese açık bir makaleyi Markdown olarak toplayın
Makale URL’sini standart modda gönderin, son URL’yi koruyun ve kategori kanıtını yalnızca uygulama kullanıyorsa ekleyin.
Örnek İstek
curl -X POST "https://domscan.net/v1/scrape" -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" -d '{"url":"https://example.com","output":"markdown"}'Örnek Yanıt
{
"data": {
"url": "https://example.com",
"outcome": "success",
"content": "# Example Domain",
"truncated": false
},
"billing": { "credits_charged": 1, "credits_refunded": 0 }
}Bu iş akışındaki ürünler
Desteklenen her istek için HTML, metin veya Markdown ile son hedef ve işleme kanıtını alın.
Web verisi kazıma
Herkese açık web sayfalarını HTML, Markdown veya metin olarak, senkron ve asenkron seçeneklerle alın.
Şu durumda seçin: Herkese açık web sayfalarını HTML, Markdown veya metin olarak, senkron ve asenkron seçeneklerle alın.
- Girdiler
- URL
- Sonuçlar
- Topla
- Krediler
- 0-20
SenkronAsenkronRESTMCPSDK
Birleşik URL İstihbaratı
Bir URL'den normalleştirilmiş sayfa meta verilerini, önizleme alanlarını, yapılandırılmış verileri ve herkese açık kimlik sinyallerini çıkarın.
Şu durumda seçin: Bir URL'den normalleştirilmiş sayfa meta verilerini, önizleme alanlarını, yapılandırılmış verileri ve herkese açık kimlik sinyallerini çıkarın.
- Girdiler
- URL
- Sonuçlar
- Topla, Zenginleştir
- Krediler
- 2
SenkronTopluRESTMCPSDK
Website Kategorilendirmesi
Bir web sitesini endüstri, içerik türü ve konular tarafından kategorize edin.
Şu durumda seçin: Bir web sitesini endüstri, içerik türü ve konular tarafından kategorize edin.
- Girdiler
- URL, Alan adı
- Sonuçlar
- Zenginleştir, Değerlendir
- Krediler
- 0-3
SenkronTopluRESTMCPSDKEtkileşimli araç
Eşzamansız API grupları
İstemci bağlantısını açık tutmadan birçok desteklenen API isteğini kuyruğa alın ve sonuçlarını toplayın.
Şu durumda seçin: İstemci bağlantısını açık tutmadan birçok desteklenen API isteğini kuyruğa alın ve sonuçlarını toplayın.
- Girdiler
- Alan adı, URL, E-posta adresi
- Sonuçlar
- Otomatikleştir
- Krediler
- 0
AsenkronRESTMCPSDK
Şu durumda bu iş akışını seçin
Şu durumda seçin
Açık hedef, mod ve işleme bağlamına sahip sınırlandırılmış herkese açık sayfa içeriğine ihtiyacınız varsa.
Şunun için değil
Erişim kontrollerini aşmak, sınırsız bir siteyi taramak veya her hedefin toplanacağını garanti etmek için kullanmayın.
İlgili ürün paketleri
Toplama bağlamıyla kullanılabilir sayfa içeriği
Yeterli olan en düşük toplama modunu seçin, hedef kanıtını koruyun ve sonucu yalnızca iş akışının ihtiyacı olduğunda zenginleştirin.