Robots.txt Generator
Create robots.txt files with user-agent rules, sitemaps, and crawl directives
Template
Rules
Directive
Ctrl+Enter uitvoerenCtrl+Shift+C kopiëren
Meer informatie
robots.txt Generator: Beheer zoekmachine crawling voor uw site
Leer robots.txt syntax, maak regels voor zoekmachines en AI-crawlers, en vermijd SEO-fouten.
Wat is robots.txt?
robots.txt is een plat tekstbestand dat in de root van een website wordt geplaatst en webcrawlers vertelt welke pagina's ze wel of niet mogen bezoeken. Het volgt het Robots Exclusion Protocol, een standaard sinds 1994.
6 min lezenLees de volledige gids