Robots.txt Generator
Create robots.txt files with user-agent rules, sitemaps, and crawl directives
Template
Rules
Directive
Ctrl+Enter executarCtrl+Shift+C copiar
Saiba mais
Gerador robots.txt: Controlar o crawling de mecanismos de busca
Aprenda a sintaxe robots.txt, crie regras para mecanismos de busca e crawlers IA.
O que e robots.txt?
robots.txt e um arquivo de texto simples colocado na raiz de um site que informa aos rastreadores quais paginas devem ou nao acessar. Segue o Protocolo de Exclusao de Robos, um padrao desde 1994.
6 min de leituraLer o guia completo