Skip to main content
CheckTown

Gerador de Robots.txt

Crie arquivos robots.txt com regras de user-agent, sitemaps e diretivas de rastreamento

Modelo

Regras

Diretiva

Saiba mais

Gerador robots.txt: Controlar o crawling de mecanismos de busca

Aprenda a sintaxe robots.txt, crie regras para mecanismos de busca e crawlers IA.

O que e robots.txt?

robots.txt e um arquivo de texto simples colocado na raiz de um site que informa aos rastreadores quais paginas devem ou nao acessar. Segue o Protocolo de Exclusao de Robos, um padrao desde 1994.

6 min de leituraLer o guia completo

Perguntas Frequentes