Gerador de robots.txt
Construa um arquivo robots.txt válido para controlar a indexação do seu site pelos motores de busca.
Como funciona
O arquivo robots.txt fica na raiz do seu site (por exemplo https://exemplo.com/robots.txt) e indica aos robôs dos motores de busca quais partes do site eles têm permissão para explorar. Cada regra associa um User-agent (o robô alvo, * para todos) a uma ou mais diretivas Allow ou Disallow em caminhos. Um erro de sintaxe ou um caminho malformado pode bloquear acidentalmente a indexação de todo o site, por isso vale a pena gerar esse arquivo com uma ferramenta dedicada em vez de manualmente.
O robots.txt realmente impede o acesso a uma página?
Não. O robots.txt é uma convenção que robôs respeitosos (Googlebot, Bingbot etc.) optam por seguir, mas não é uma proteção técnica. Qualquer pessoa pode acessar o conteúdo de uma página "Disallow" conhecendo sua URL. Para proteger de verdade um recurso, use autenticação no lado do servidor, não o robots.txt.
Sempre é preciso incluir uma linha Sitemap?
Não é obrigatório, mas é uma boa prática: indicar a URL do seu sitemap.xml no robots.txt ajuda os motores de busca a descobrir mais rapidamente todas as páginas do seu site, complementando um envio direto via Search Console.
Processamento 100% local no seu navegador — nada é enviado a um servidor.