Validar un archivo robots.txt
Pegue el contenido de su archivo robots.txt para comprobar su sintaxis y detectar directivas no válidas o la ausencia de una regla User-agent. Procesamiento 100% local (WebAssembly).
Cómo funciona
Un error de sintaxis en robots.txt puede hacer que los rastreadores ignoren algunas reglas, con consecuencias que van desde el bloqueo accidental de páginas importantes hasta el rastreo de zonas que deberían permanecer privadas. Pegue el contenido de su archivo antes de desplegarlo para comprobar que cada línea sigue una sintaxis reconocida.
¿Qué directivas se reconocen como válidas?
La herramienta reconoce User-agent, Disallow, Allow, Sitemap y Crawl-delay (sin distinguir mayúsculas de minúsculas). Las líneas vacías y los comentarios que empiezan por # se ignoran; todo lo demás se señala como potencialmente no válido.
¿Por qué es obligatoria una directiva User-agent?
Sin una directiva User-agent, las reglas Disallow o Allow que la siguen no tienen un robot de destino y los motores de búsqueda pueden ignorarlas. Cada bloque de reglas debe comenzar con una línea User-agent que indique a qué robot se aplica (* para todos).
Procesamiento 100% local: la validación se ejecuta íntegramente en su navegador mediante WebAssembly; su archivo nunca sale de su dispositivo.