Robots.txt Generator
Create robots.txt files with user-agent rules, sitemaps, and crawl directives
Template
Rules
Directive
Ctrl+Enter ejecutarCtrl+Shift+C copiar
Más información
Generador robots.txt: Controlar el rastreo de buscadores de su sitio
Aprenda la sintaxis robots.txt, cree reglas para buscadores y rastreadores IA.
Que es robots.txt?
robots.txt es un archivo de texto plano colocado en la raiz de un sitio web que indica a los rastreadores que paginas deben o no acceder. Sigue el Protocolo de Exclusion de Robots, un estandar desde 1994.
6 min de lecturaLeer la guía completa