Valider un fichier robots.txt

Comment ça marche

Une erreur de syntaxe dans robots.txt peut faire ignorer certaines règles par les robots d'exploration, avec des conséquences allant du blocage accidentel de pages importantes à l'exploration de zones qui devraient rester privées. Collez le contenu de votre fichier avant de le déployer pour vérifier que chaque ligne suit une syntaxe reconnue.

Quelles directives sont reconnues comme valides ?

L'outil reconnaît User-agent, Disallow, Allow, Sitemap et Crawl-delay (insensibles à la casse). Les lignes vides et les commentaires commençant par # sont ignorés, tout le reste est signalé comme potentiellement invalide.

Pourquoi une directive User-agent est-elle obligatoire ?

Sans directive User-agent, les règles Disallow ou Allow qui suivent n'ont pas de robot cible et peuvent être ignorées par les moteurs de recherche. Chaque bloc de règles doit commencer par une ligne User-agent indiquant à quel robot il s'applique (* pour tous).

Traitement 100% local : la validation s'exécute entièrement dans votre navigateur via WebAssembly — votre fichier ne quitte jamais votre appareil.