Validar um arquivo robots.txt

Cole o conteúdo do seu arquivo robots.txt para verificar a sintaxe e identificar diretivas inválidas ou a ausência de uma regra User-agent. Processamento 100% local (WebAssembly).

Exemplo:

Como funciona

Um erro de sintaxe no robots.txt pode fazer com que alguns rastreadores ignorem certas regras, com consequências que vão do bloqueio acidental de páginas importantes ao rastreamento de áreas que deveriam permanecer privadas. Cole o conteúdo do seu arquivo antes de publicá-lo para verificar se cada linha segue uma sintaxe reconhecida.

Quais diretivas são reconhecidas como válidas?

A ferramenta reconhece User-agent, Disallow, Allow, Sitemap e Crawl-delay (sem diferenciar maiúsculas de minúsculas). Linhas em branco e comentários iniciados por # são ignorados; todo o resto é sinalizado como potencialmente inválido.

Por que uma diretiva User-agent é obrigatória?

Sem uma diretiva User-agent, as regras Disallow ou Allow que vêm a seguir não têm um robô de destino e podem ser ignoradas pelos mecanismos de busca. Cada bloco de regras deve começar com uma linha User-agent indicando a qual robô ele se aplica (* para todos).

Processamento 100% local: a validação é executada inteiramente no seu navegador via WebAssembly — seu arquivo nunca sai do seu dispositivo.