robots.txt फ़ाइल सत्यापित करें

यह कैसे काम करता है

robots.txt में सिंटैक्स की एक गलती से क्रॉलर कुछ नियमों को अनदेखा कर सकते हैं, जिसके नतीजे महत्वपूर्ण पेजों के अनजाने में ब्लॉक होने से लेकर उन हिस्सों की क्रॉलिंग तक हो सकते हैं जिन्हें निजी रहना चाहिए। फ़ाइल को डिप्लॉय करने से पहले उसकी सामग्री पेस्ट करें और जाँचें कि हर पंक्ति मान्य सिंटैक्स का पालन करती है।

कौन-से निर्देश मान्य माने जाते हैं?

टूल User-agent, Disallow, Allow, Sitemap और Crawl-delay को पहचानता है (अक्षरों के केस से फ़र्क़ नहीं पड़ता)। खाली पंक्तियाँ और # से शुरू होने वाली टिप्पणियाँ अनदेखी की जाती हैं, बाकी सब कुछ संभावित रूप से अमान्य बताया जाता है।

User-agent निर्देश अनिवार्य क्यों है?

User-agent निर्देश के बिना, उसके बाद आने वाले Disallow या Allow नियमों का कोई लक्षित रोबोट नहीं होता और सर्च इंजन उन्हें अनदेखा कर सकते हैं। नियमों के हर ब्लॉक की शुरुआत एक User-agent पंक्ति से होनी चाहिए जो बताए कि वह किस रोबोट पर लागू होता है (सभी के लिए *)।

100% लोकल प्रोसेसिंग: सत्यापन WebAssembly के ज़रिए पूरी तरह आपके ब्राउज़र में चलता है — आपकी फ़ाइल कभी आपके डिवाइस से बाहर नहीं जाती।