Robots.txt-generator
robots.txt-bestanden maken met user-agent-regels, sitemaps en crawlrichtlijnen
Sjabloon
Regels
Richtlijn
Ctrl+Enter uitvoerenCtrl+Shift+C kopiëren
Meer informatie
robots.txt Generator: Beheer zoekmachine crawling voor uw site
Leer robots.txt syntax, maak regels voor zoekmachines en AI-crawlers, en vermijd SEO-fouten.
Wat is robots.txt?
robots.txt is een plat tekstbestand dat in de root van een website wordt geplaatst en webcrawlers vertelt welke pagina's ze wel of niet mogen bezoeken. Het volgt het Robots Exclusion Protocol, een standaard sinds 1994.
6 min lezenLees de volledige gids