ابدأ بالنموذج المباشر
أدخل نطاقاً أو رابطاً أو IP أو بريداً أو سجلاً لتحصل على نتيجة مركزة دون إعداد.
جميع الأدوات
بيانات الويب
ذكاء النطاقات
DNS والبنية التحتية
الأمان والثقة
الهوية والتحقق
المراقبة والأتمتة
فاحص Robots.txt
أدخل موقعًا لقراءة ملف robots.txt الخاص به، واختبر ما إذا كان بإمكان زاحف جلب مسار معين، وتعرّف على طريقة التعامل مع GPTBot وClaudeBot وPerplexityBot وغيرها من زواحف الذكاء الاصطناعي.
النتائج
أداة معلومات تفاعلية
شغّل الفحص ثم حوّله إلى سير عمل
استخدم أداة المتصفح للحصول على إجابة سريعة، ثم انقل المنطق نفسه إلى السكربتات أو المراقبة أو تدفقات المنتج عندما يصبح قابلاً للتكرار.
راجع إشارات جاهزة للقرار
تعرض النتائج الحالات والمخاطر والسجلات والخطوات التالية بدلاً من ضجيج المزودين الخام.
أتمتة سير العمل الذي ينجح
استخدم أمثلة الطلب والاستجابة لتحويل الفحص الواحد إلى نداء API أو وصفة.
يستخدمه أشخاص في هذه الشركات
ما الذي تساعدك هذه الأداة على قراره
كل صفحة مبنية حول سؤال تشغيلي عملي، وليس مجرد استعلام خام.
شاهد أدلة DNS أو التسجيل أو الأمان أو الأسعار أو السمعة الحالية.
قارن النتيجة بفحوص مرتبطة حتى تكون الخطوة التالية أكثر موثوقية.
انسخ الأمثلة أو افتح الأدوات المرتبطة أو انتقل إلى وثائق API عند الحاجة إلى التوسع.
إشارات ثقة قبل التكامل
توفر الوثائق الواضحة والطلبات الموثقة وتفاصيل الاعتمادية المرئية طريقة أسهل لتقييم DomScan قبل الإطلاق.
حالة الخدمة
ملفات API
روابط OpenAPI وSwagger وPostman وCLI وSDK وMCP متاحة بنقرة واحدة.
مفاتيح API
وصول محمي
تستخدم نقاط النهاية الموثقة مفاتيح API مع تكاليف رصيد واضحة قبل الاستدعاء.
حصة مجانية
اشترك مجاناً
ابدأ مع 10,000 رصيد شهري وقم بالترقية فقط عند نمو الاستخدام.
نشط
طلب مثال
ابدأ من أمثلة curl وHTTP ثم اربط المعلمات بكود تطبيقك.
الميزات الرئيسية
تحليل وفق RFC 9309
تُطابَق المجموعات وقواعد allow وdisallow والرموز البديلة ومرساة النهاية وفق المعيار، وتكون الغلبة للقاعدة الأطول.
مصفوفة زواحف الذكاء الاصطناعي
الوصول إلى الجذر لـ 14 زاحفًا للذكاء الاصطناعي، تشمل وكلاء التدريب والبحث والطلبات التي يبدأها المستخدم من OpenAI وAnthropic وGoogle وPerplexity وغيرها.
حالات مجهولة صريحة
إذا تعذّر جلب الملف بسبب حظر أو انتهاء مهلة أو خطأ في الخادم، فالنتيجة مجهولة، ولا تُعدّ سماحًا بصمت أبدًا.
طلب مثال
GET /v1/robots?url=example.comGET /v1/robots?url=example.com&user_agent=GPTBot&path=/blog/مبنية على واجهة API نفسها
تستعرض تجربة المتصفح نقاط نهاية DomScan المهيكلة حتى تتمكن الفرق من التحقق من حالة الاستخدام قبل كتابة الكود.
الأسئلة الشائعة
ماذا يحدث إذا لم يكن للموقع ملف robots.txt؟
تعني استجابة 404 أو 410 عدم وجود قيود على الزحف، فتكون كل المسارات مسموحة. يبلّغ الفاحص عن ذلك بوصفه غير موجود.
كيف أحظر زواحف الذكاء الاصطناعي؟
أضف مجموعة user-agent لكل زاحف، مثل GPTBot أو ClaudeBot، مع قاعدة Disallow. يوضح جدول زواحف الذكاء الاصطناعي الروبوتات التي تغطيها قواعدك الحالية.
هل يوقف robots.txt جميع الروبوتات؟
لا. ملف Robots.txt طلب تلتزم به الزواحف الملتزمة بالآداب، ولا يفرض ضبطًا للوصول، لذا يحتاج المحتوى الخاص إلى مصادقة.