جميع الأدوات بيانات الويب ذكاء النطاقات DNS والبنية التحتية الأمان والثقة الهوية والتحقق المراقبة والأتمتة

مختبر Robots.txt

تحقق مما إذا كان يُسمح لبرامج الزحف بزيارة روابطك. اختبر حتى 100 رابط مقابل عدة وكلاء مستخدم في آن واحد، باستخدام ملف robots.txt المنشور لموقع ما أو مسودة تلصقها قبل نشرها.

اتركه فارغًا لاختبار ملف robots.txt المنشور للموقع أعلاه.

النتائج

        
أداة معلومات تفاعلية

شغّل الفحص ثم حوّله إلى سير عمل

استخدم أداة المتصفح للحصول على إجابة سريعة، ثم انقل المنطق نفسه إلى السكربتات أو المراقبة أو تدفقات المنتج عندما يصبح قابلاً للتكرار.

1
ابدأ بالنموذج المباشر

أدخل نطاقاً أو رابطاً أو IP أو بريداً أو سجلاً لتحصل على نتيجة مركزة دون إعداد.

2
راجع إشارات جاهزة للقرار

تعرض النتائج الحالات والمخاطر والسجلات والخطوات التالية بدلاً من ضجيج المزودين الخام.

3
أتمتة سير العمل الذي ينجح

استخدم أمثلة الطلب والاستجابة لتحويل الفحص الواحد إلى نداء API أو وصفة.

يستخدمه أشخاص في هذه الشركات

InstantOutseerMongoDBRespondentSage Expense ManagementInstantlyD.R. HortonWhatConvertsAdobeLLM Pulse

ما الذي تساعدك هذه الأداة على قراره

كل صفحة مبنية حول سؤال تشغيلي عملي، وليس مجرد استعلام خام.

إشارة

شاهد أدلة DNS أو التسجيل أو الأمان أو الأسعار أو السمعة الحالية.

السياق

قارن النتيجة بفحوص مرتبطة حتى تكون الخطوة التالية أكثر موثوقية.

الإجراء

انسخ الأمثلة أو افتح الأدوات المرتبطة أو انتقل إلى وثائق API عند الحاجة إلى التوسع.

إشارات ثقة قبل التكامل

توفر الوثائق الواضحة والطلبات الموثقة وتفاصيل الاعتمادية المرئية طريقة أسهل لتقييم DomScan قبل الإطلاق.

حالة الخدمة ملفات API

روابط OpenAPI وSwagger وPostman وCLI وSDK وMCP متاحة بنقرة واحدة.

مفاتيح API وصول محمي

تستخدم نقاط النهاية الموثقة مفاتيح API مع تكاليف رصيد واضحة قبل الاستدعاء.

حصة مجانية اشترك مجاناً

ابدأ مع 10,000 رصيد شهري وقم بالترقية فقط عند نمو الاستخدام.

نشط طلب مثال

ابدأ من أمثلة curl وHTTP ثم اربط المعلمات بكود تطبيقك.

الميزات الرئيسية

اختبر المسودة قبل النشر

الصق ملف robots.txt وشاهد كيف يتعامل مع روابطك دون تغيير أي شيء في موقعك.

روابط كثيرة وبرامج زحف كثيرة

حتى 100 رابط و10 وكلاء مستخدم في فحص واحد، مع نتيجة لكل تركيبة.

القاعدة التي تحسم النتيجة

تعرض كل نتيجة قاعدة Allow أو Disallow المطابقة ورقم سطرها، وفق المعيار الرسمي لملف robots.txt.

طلب مثال

POST /v1/robots/test json
{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}

مبنية على واجهة API نفسها

تستعرض تجربة المتصفح نقاط نهاية DomScan المهيكلة حتى تتمكن الفرق من التحقق من حالة الاستخدام قبل كتابة الكود.

الأسئلة الشائعة

هل يمكنني اختبار ملف robots.txt قبل نشره؟

نعم. الصق المحتوى في خانة robots.txt ولن يُجلب أي شيء من موقعك. اتركها فارغة لاختبار الملف المنشور حاليًا.

هل يمكنني لصق سلسلة وكيل مستخدم كاملة؟

نعم. تُختصر السلسلة الكاملة، مثل التي يرسلها Googlebot، إلى اسم برنامج الزحف، وهو ما تطابقه قواعد robots.txt.

ماذا تعني النتيجة "غير معروف"؟

تعذّرت قراءة ملف robots.txt المنشور، مثلًا لأن الموقع حجب الطلب أو انتهت مهلته. لا تُعامل النتيجة غير المعروفة على أنها مسموحة أبدًا، ويُردّ رصيد الفحص.

الأدوات والموارد ذات الصلة