Robots.txt Generator
Create robots.txt files with user-agent rules, sitemaps, and crawl directives
Template
Rules
Directive
Ctrl+Enter eseguireCtrl+Shift+C copiare
Per saperne di più
Generatore robots.txt: Controllare il crawling dei motori di ricerca
Impara la sintassi robots.txt, crea regole per motori di ricerca e crawler IA.
Cos'e robots.txt?
robots.txt e un file di testo posizionato nella root di un sito web che indica ai crawler quali pagine possono o non possono accedere. Segue il Protocollo di Esclusione dei Robot, uno standard dal 1994.
6 min di letturaLeggi la guida completa