Générateur de robots.txt
Construisez un fichier robots.txt valide pour contrôler l'indexation de votre site par les moteurs de recherche.
Comment ça marche
Le fichier robots.txt se place à la racine de votre site (par exemple https://exemple.com/robots.txt) et indique aux robots des moteurs de recherche quelles parties du site ils ont le droit d'explorer. Chaque règle associe un User-agent (le robot ciblé, * pour tous) à une ou plusieurs directives Allow ou Disallow sur des chemins. Une erreur de syntaxe ou un chemin mal formé peut accidentellement bloquer l'indexation de tout le site, d'où l'intérêt de générer ce fichier avec un outil dédié plutôt qu'à la main.
Le robots.txt empêche-t-il vraiment l'accès à une page ?
Non. Le robots.txt est une convention que les robots respectueux (Googlebot, Bingbot, etc.) choisissent de suivre, mais il ne s'agit pas d'une protection technique. N'importe qui peut consulter le contenu d'une page "Disallow" en connaissant son URL. Pour protéger réellement une ressource, utilisez une authentification côté serveur, pas robots.txt.
Faut-il toujours inclure une ligne Sitemap ?
Ce n'est pas obligatoire, mais c'est une bonne pratique : indiquer l'URL de votre sitemap.xml dans le robots.txt aide les moteurs de recherche à découvrir plus rapidement toutes les pages de votre site, en complément d'une soumission directe via la Search Console.
Traitement 100% local dans votre navigateur — rien n'est envoyé à un serveur.