التحقق من ملف robots.txt

كيف يعمل

قد يؤدي خطأ في صياغة robots.txt إلى تجاهل برامج الزحف لبعض القواعد، بعواقب تتراوح بين حجب صفحات مهمة عن غير قصد والزحف إلى مناطق يُفترض أن تبقى خاصة. الصق محتوى ملفك قبل نشره للتحقق من أن كل سطر يتبع صياغة معروفة.

ما التوجيهات المعترف بها على أنها صالحة؟

تتعرّف الأداة على User-agent وDisallow وAllow وSitemap وCrawl-delay (دون حساسية لحالة الأحرف). تُتجاهَل الأسطر الفارغة والتعليقات التي تبدأ بـ #، ويُشار إلى كل ما عداها على أنه غير صالح محتملًا.

لماذا يكون توجيه User-agent إلزاميًا؟

بدون توجيه User-agent، لا يكون للقواعد Disallow أو Allow التي تليه برنامج زحف مستهدف، وقد تتجاهلها محركات البحث. يجب أن تبدأ كل كتلة قواعد بسطر User-agent يحدد برنامج الزحف الذي تنطبق عليه (* لجميعها).

معالجة محلية 100%: يجري التحقق بالكامل داخل متصفحك عبر WebAssembly — لا يغادر ملفك جهازك أبدًا.