Robots.txt Generator
Create robots.txt files with user-agent rules, sitemaps, and crawl directives
Template
Rules
Directive
Ctrl+Enter exécuterCtrl+Shift+C copier
En savoir plus
Generateur robots.txt : Controler l'exploration de votre site par les moteurs de recherche
Apprenez la syntaxe robots.txt, creez des regles pour les moteurs de recherche et les robots IA.
Qu'est-ce que robots.txt ?
robots.txt est un fichier texte brut place a la racine d'un site web qui indique aux robots d'exploration quelles pages ou sections ils doivent ou ne doivent pas acceder. Il suit le Protocole d'Exclusion des Robots, un standard utilise depuis 1994 pour communiquer les preferences d'exploration aux moteurs de recherche, robots IA et autres agents automatises.
6 min de lectureLire le guide complet