Robots.txt: o que é, como criar e erros comuns

O que é o robots.txt e onde ele fica?

É um arquivo de texto simples, chamado exatamente robots.txt, que fica na raiz do endereço: https://www.seusite.com.br/robots.txt. Os rastreadores (os robôs que leem sites, como o Googlebot) pedem esse arquivo antes de visitar o resto e seguem as regras que encontram.

O que a documentação do Google deixa claro:

• Só vale um arquivo por site, e não em subpasta.
• Ele vale apenas para o protocolo, o endereço e a porta onde está publicado. www.seusite.com.br e loja.seusite.com.br precisam de arquivos próprios.
• Deve ser texto simples em UTF-8. Editor de texto formatado, como o Word, pode trocar as aspas por aspas curvas e quebrar as regras.
• O Google lê até 500 KiB do arquivo e guarda uma cópia por até 24 horas, então uma mudança não vale na hora.

O robots.txt é um pedido, não uma tranca. Os rastreadores sérios obedecem, mas ele não impede ninguém de abrir uma página. O que protege conteúdo é senha.

Como é a sintaxe: User-agent, Disallow, Allow e Sitemap?

O arquivo é feito de grupos. Cada grupo começa com User-agent e traz uma regra por linha:

Mais três regras que evitam surpresa: as regras diferenciam maiúsculas de minúsculas, # inicia um comentário, e o * funciona como curinga dentro dos caminhos. Quando duas regras se contradizem, vale a mais específica (a de caminho mais longo). Em empate, o Google escolhe a menos restritiva.

Exemplos prontos para copiar

Site liberado para todos os robôs

É o que usamos no nosso site: libera tudo e aponta o sitemap.

User-agent: *
Allow: /

Sitemap: https://www.wowsolucoes.com.br/sitemap.xml

Bloquear áreas sem valor para a busca

Para páginas que ninguém procura no Google, como painel de administração e carrinho:

User-agent: *
Disallow: /admin/
Disallow: /carrinho/

Sitemap: https://www.seusite.com.br/sitemap.xml

Bloquear só um robô

Aqui o GPTBot fica de fora e os demais seguem livres:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Que erros derrubam um site do Google?

Um erro 404 no arquivo não é problema: o Google entende que não há restrição e rastreia normalmente. Por isso nem todo site precisa de um robots.txt. Mesmo assim, vale ter um, porque é um bom lugar para apontar o sitemap.

Robots.txt ou noindex: qual usar para esconder uma página?

São coisas diferentes. O robots.txt impede o rastreamento; o noindex impede a indexação. Para tirar uma página dos resultados do Google, coloque <meta name="robots" content="noindex"> no HTML (ou o cabeçalho X-Robots-Tag: noindex) e não bloqueie essa página no robots.txt. Se o robô for barrado, ele nunca lê o noindex, e a URL pode continuar aparecendo.

Como testar o robots.txt no Search Console?

1. Abra seusite.com.br/robots.txt no navegador e confirme que o texto aparece.
2. No Search Console, abra o relatório de robots.txt, disponível para propriedades de domínio. Ele mostra o endereço, o status da busca ("Buscado" ou "Não buscado"), a data da última verificação, o tamanho do arquivo e o número de problemas, com erros e avisos destacados.
3. Se você corrigiu algo importante, use "Solicitar um novo rastreamento" no próprio relatório. Costuma ser desnecessário, porque o Google relê o arquivo com frequência.
4. Para uma página específica, use a Inspeção de URL: se ela estiver barrada, o motivo aparece como "URL bloqueado pelo arquivo robots.txt".

Bots de IA: permitir ou bloquear?

Além da busca, há robôs que leem sites para treinar modelos de IA ou para responder perguntas dos usuários. Cada empresa publica os seus nomes (confira sempre na documentação, porque mudam), e o mesmo robots.txt controla todos:

Fontes: OpenAI e Anthropic. O Perplexity e o Google descrevem os deles nas próprias páginas de rastreadores, e o Perplexity avisa que o Perplexity-User geralmente ignora o robots.txt, por agir a pedido do usuário.

Não há resposta única. Um roteiro de decisão:

• Quer ser citado por assistentes de IA? Libere os robôs de busca (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Quem os bloqueia pode deixar de aparecer nessas respostas.
• Não quer o conteúdo no treinamento? Bloqueie GPTBot, ClaudeBot e Google-Extended. A Anthropic informa que isso exclui o conteúdo futuro, e o Google informa que o Google-Extended não interfere na inclusão no Google Search.
• Tem conteúdo pago ou restrito? Proteja com senha. Regra de robots.txt não é segurança.

Nós liberamos tudo, porque queremos ser encontrados e citados. Para uma loja de textos exclusivos, a conta pode ser outra. Para ajudar os assistentes de IA a entender o seu site, veja também o llms.txt e os dados estruturados. Se quiser que alguém confira o seu arquivo, o diagnóstico gratuito olha o que o Google consegue ler, e a página de SEO explica o trabalho técnico.