مولّد robots.txt

كيف يعمل

يوضع ملف robots.txt في جذر موقعك (مثل https://example.com/robots.txt) ويخبر روبوتات محركات البحث بالأجزاء المسموح لها باستكشافها في الموقع. تربط كل قاعدة User-agent (الروبوت المستهدف، * للجميع) بواحدة أو أكثر من توجيهات Allow أو Disallow على مسارات. يمكن أن يؤدي خطأ في بناء الجملة أو مسار غير صحيح إلى حظر فهرسة الموقع بالكامل عن طريق الخطأ، لذلك من الأفضل إنشاء هذا الملف بأداة مخصصة بدلاً من يدويًا.

هل يمنع ملف robots.txt الوصول إلى صفحة حقًا؟

لا. robots.txt هو مجرد اتفاقية تختار الروبوتات الملتزمة (مثل Googlebot وBingbot) اتباعها، وليس حماية تقنية. يمكن لأي شخص الاطلاع على محتوى صفحة "Disallow" إذا عرف عنوان URL الخاص بها. لحماية مورد بالفعل، استخدم مصادقة من جانب الخادم، وليس robots.txt.

هل يجب دائمًا تضمين سطر Sitemap؟

ليس إلزاميًا، لكنه ممارسة جيدة: الإشارة إلى رابط sitemap.xml الخاص بك في robots.txt يساعد محركات البحث على اكتشاف جميع صفحات موقعك بشكل أسرع، بالإضافة إلى الإرسال المباشر عبر Search Console.

معالجة 100% محليًا في متصفحك — لا يُرسل أي شيء إلى خادم.