Generador de robots.txt
Crea un archivo robots.txt válido para controlar la indexación de tu sitio por los motores de búsqueda.
Cómo funciona
El archivo robots.txt se coloca en la raíz de tu sitio (por ejemplo https://ejemplo.com/robots.txt) e indica a los robots de los motores de búsqueda qué partes del sitio tienen permiso para rastrear. Cada regla asocia un User-agent (el robot objetivo, * para todos) a una o varias directivas Allow o Disallow sobre rutas. Un error de sintaxis o una ruta mal formada puede bloquear accidentalmente la indexación de todo el sitio, de ahí el interés de generar este archivo con una herramienta dedicada en lugar de a mano.
¿Impide realmente el robots.txt el acceso a una página?
No. El robots.txt es una convención que los robots respetuosos (Googlebot, Bingbot, etc.) eligen seguir, pero no es una protección técnica. Cualquiera puede consultar el contenido de una página «Disallow» si conoce su URL. Para proteger realmente un recurso, usa autenticación en el servidor, no robots.txt.
¿Siempre hay que incluir una línea Sitemap?
No es obligatorio, pero es una buena práctica: indicar la URL de tu sitemap.xml en el robots.txt ayuda a los motores de búsqueda a descubrir más rápidamente todas las páginas de tu sitio, como complemento a un envío directo mediante Search Console.
Generación 100% local en tu navegador: nada se envía a un servidor.