Gerador de Robots.txt
Crie arquivos robots.txt com regras de user-agent, sitemaps e diretivas de rastreamento
Modelo
Regras
Diretiva
Ctrl+Enter executarCtrl+Shift+C copiar
Saiba mais
Gerador robots.txt: Controlar o crawling de mecanismos de busca
Aprenda a sintaxe robots.txt, crie regras para mecanismos de busca e crawlers IA.
O que e robots.txt?
robots.txt e um arquivo de texto simples colocado na raiz de um site que informa aos rastreadores quais paginas devem ou nao acessar. Segue o Protocolo de Exclusao de Robos, um padrao desde 1994.
6 min de leituraLer o guia completo