Skip to main content
CheckTown

Générateur Robots.txt

Créer des fichiers robots.txt avec des règles user-agent, des sitemaps et des directives d'exploration

Modèle

Règles

Directive

En savoir plus

Generateur robots.txt : Controler l'exploration de votre site par les moteurs de recherche

Apprenez la syntaxe robots.txt, creez des regles pour les moteurs de recherche et les robots IA.

Qu'est-ce que robots.txt ?

robots.txt est un fichier texte brut place a la racine d'un site web qui indique aux robots d'exploration quelles pages ou sections ils doivent ou ne doivent pas acceder. Il suit le Protocole d'Exclusion des Robots, un standard utilise depuis 1994 pour communiquer les preferences d'exploration aux moteurs de recherche, robots IA et autres agents automatises.

6 min de lectureLire le guide complet

Questions fréquentes