بيانات الويب

واجهة API لمختبر Robots.txt

أرسل قائمة بالروابط ووكلاء المستخدم واحصل على نتيجة لكل تركيبة. اختبر ملف robots.txt المنشور لموقع ما أو مسودة تلصقها، واطلع على قاعدة Allow أو Disallow الحاسمة وسطرها، واكتشف أخطاء الصياغة قبل أن تكتشفها برامج الزحف.

عرض الوثائق جرّب الأداة المجانية استكشف جميع واجهات API

نقاط النهاية نشط

POST /v1/robots/test

طلب مثال

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

مثال الرد 200 OK

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reas
...

طلب مثال POST /v1/robots/test

الميزات الرئيسية 4

الأسئلة الشائعة 4

رموز حالة HTTP 200 / 400 / 401 / 402 / 409 / 422 / 429

Category بيانات الويب

نقاط النهاية 1

الميزات الرئيسية 4

الأسئلة الشائعة 4

يستخدمه أشخاص في هذه الشركات

إشارات ثقة قبل التكامل

توفر الوثائق الواضحة والطلبات الموثقة وتفاصيل الاعتمادية المرئية طريقة أسهل لتقييم DomScan قبل الإطلاق.

مباشر حالة الخدمة

تحقق من حالة الخدمة المباشرة واستجابات الفشل الموثقة قبل التكامل.

OpenAPI ملفات API

روابط OpenAPI وSwagger وPostman وCLI وSDK وMCP متاحة بنقرة واحدة.

مفاتيح API وصول محمي

تستخدم نقاط النهاية الموثقة مفاتيح API مع تكاليف رصيد واضحة قبل الاستدعاء.

10,000 حصة مجانية

ابدأ مع 10,000 رصيد شهري وقم بالترقية فقط عند نمو الاستخدام.

ما الذي تساعدك هذه الواجهة على إطلاقه

استخدم هذه الصفحة كملخص إنتاج: نقاط النهاية، الأمثلة، شكل الاستجابة، وأجزاء سير العمل اللازمة لربط DomScan بمنتجك.

سير عمل المنتج

ادمج فحوصات النطاقات، معلومات DNS، إشارات المخاطر أو الإثراء داخل الإعداد، البحث والأدوات الداخلية.

أتمتة المحللين

استبدل عمليات البحث اليدوية المتكررة بمهام مجدولة وتنبيهات وخطوات تحقيق قابلة للإعادة.

بيانات JSON نظيفة

استخدم حقولًا متوقعة، رموز حالة موثقة وتكاليف ائتمان بدلًا من كشط صفحات المزودين.

أدوات الذكاء الاصطناعي والعمليات

زوّد الوكلاء ولوحات المعلومات ودفاتر SOAR وCRMs عبر OpenAPI أو SDK أو Postman أو MCP.

سير عمل التكامل

مسار بسيط من أول طلب إلى استخدام إنتاجي قابل للتكرار.

المصادقة مرة واحدة

أرسل مفتاح API مع الترويسة الموثقة وحافظ على اتساق الطلبات عبر الخدمات.

الاستعلام باستخدام الأمثلة

ابدأ من أمثلة curl وHTTP ثم اربط المعلمات بكود تطبيقك.

التشغيل والمراقبة

استخدم رموز الحالة وتكاليف الاعتمادات وحقول الاستجابة لبناء إعادة المحاولة والسجلات والتنبيهات.

عدة المطور

انتقل من هذه الصفحة إلى وثائق قابلة للقراءة آليًا، مجموعات طلبات، SDKs أو أدوات للوكلاء.

مخطط OpenAPI

أنشئ عملاء أو افحص شكل كل طلب واستجابة.

مجموعة Postman

استورد طلبات جاهزة للاختبار اليدوي وتسليم الفريق.

SDKs وCLI

استخدم حزمًا مصانة وسير عمل سطر الأوامر بدل كتابة boilerplate.

تكامل MCP

اعرض ذكاء النطاقات لوكلاء الذكاء الاصطناعي وسير عمل المساعدين الداخليين.

خريطة المعلمات والاستجابة

راجع المدخلات وحقول الإخراج ورموز الحالة قبل توصيل نقطة النهاية بعميلك.

معلمات الطلب

المعامل

robots_txturlurlsuser_agents

حقول الاستجابة

مثال الرد

sourcestatussummarysummary.testssummary.allowedsummary.disallowedsummary.unknownresultsissues

تغطية الحالة

رموز حالة HTTP

200400401402409422429

نقاط النهاية

POST /v1/robots/test

الرصيد: 1المصادقة: المصادقة مطلوبة

إشارات ثقة قبل التكامل

توفر الوثائق الواضحة والطلبات الموثقة وتفاصيل الاعتمادية المرئية طريقة أسهل لتقييم DomScan قبل الإطلاق.

حالة الخدمة ملفات API

روابط OpenAPI وSwagger وPostman وCLI وSDK وMCP متاحة بنقرة واحدة.

مفاتيح API وصول محمي

تستخدم نقاط النهاية الموثقة مفاتيح API مع تكاليف رصيد واضحة قبل الاستدعاء.

حصة مجانية اشترك مجاناً

ابدأ مع 10,000 رصيد شهري وقم بالترقية فقط عند نمو الاستخدام.

نشط طلب مثال

ابدأ من أمثلة curl وHTTP ثم اربط المعلمات بكود تطبيقك.

الميزات الرئيسية

ملف ملصق أو منشور

أرسل robots_txt لاختبار مسودة دون جلب أي شيء، أو أرسل url لاختبار الملف المنشور على الموقع.

نتائج بالجملة

حتى 100 رابط و10 وكلاء مستخدم في كل طلب، مع إجماليات لكل برنامج زحف وصف لكل تركيبة.

مطابقة وفق المعيار

تُطابَق القواعد كما يصفها المعيار الرسمي لملف robots.txt (RFC 9309): تفوز أطول مطابقة، وتفوز Allow عند التعادل، وتُدعم الرموز البديلة * و$.

فحوصات الصياغة

تُدرج الأخطاء المطبعية والقواعد الواقعة خارج أي مجموعة والأسطر غير الصالحة وغيرها من المشكلات مع أرقام أسطرها.

طلب مثال

POST /v1/robots/test bash

curl -X POST -H "X-API-Key: $DOMSCAN_API_KEY" -H "Content-Type: application/json" \
  -d '{"url":"example.com","urls":["/blog/","/admin/"],"user_agents":["Googlebot","GPTBot"]}' \
  "https://domscan.net/v1/robots/test"

مثال الرد

200 OK json

{
  "source": "fetched",
  "status": "found",
  "summary": { "tests": 4, "allowed": 1, "disallowed": 3, "unknown": 0 },
  "results": [
    {
      "url": "/blog/",
      "user_agent": "Googlebot",
      "allowed": true,
      "reason": "no_matching_rule"
    },
    {
      "url": "/admin/",
      "user_agent": "Googlebot",
      "allowed": false,
      "reason": "matched_disallow",
      "matched_rule": { "type": "disallow", "path": "/admin/", "line": 5 }
    }
  ],
  "issues": [{ "code": "directive_typo", "count": 1, "lines": [9] }]
}

الأسئلة الشائعة

ما الفرق بينها وبين واجهة Robots.txt API؟

تقرأ واجهة Robots.txt API الملف المنشور لموقع ما وتختبر برنامج زحف واحدًا ومسارًا واحدًا. أما المختبر فيفحص عددًا كبيرًا من الروابط وبرامج الزحف في طلب واحد، ويمكنه أيضًا اختبار ملف robots.txt تلصقه أنت.

أي وكيل مستخدم تتم مطابقته؟

اسم برنامج الزحف، دون مراعاة حالة الأحرف. تُختصر السلسلة الكاملة بنمط المتصفحات، مثل سلسلة Googlebot، إلى اسم برنامج الزحف أولًا، وتعرض الاستجابة الاسم الذي استُخدم.

ماذا يحدث للروابط الواقعة على مضيف آخر؟

عند استخدام الملف المنشور، يُبلَّغ عن الرابط الواقع على مضيف مختلف عن مضيف الموقع بالقيمة other_host دون نتيجة، لأن لكل مضيف ملف robots.txt خاصًا به.

كم تبلغ التكلفة؟

رصيد واحد لكل طلب، لما يصل إلى 1,000 نتيجة. وعندما يتعذر قراءة ملف robots.txt المنشور، تكون النتائج غير معروفة ويُردّ الرصيد.

الأدوات والموارد ذات الصلة

رموز حالة HTTP

هذه هي رموز حالة HTTP التي ينبغي التعامل معها، لتتمكن من التمييز بين الاستجابات الناجحة ومشكلات المصادقة والأرصدة وحدود المعدل والبيانات المفقودة وأعطال المصدر.

OK 200

نجح الطلب

طلب غير صالح 400

معلمات غير صالحة

غير مصرح 401

مفتاح API أو الجلسة مفقود أو غير صالح.

الدفع مطلوب 402

لا توجد أرصدة كافية لتنفيذ هذا الطلب.

HTTP 409 409

HTTP 422 422

طلبات كثيرة جداً 429

تم تجاوز حد المعدل

اختبر ملف robots.txt الخاص بك

ابدأ مجاناً عرض الوثائق جرّب الأداة المجانية