Skip to main content
CheckTown

Robots.txt-generator

robots.txt-bestanden maken met user-agent-regels, sitemaps en crawlrichtlijnen

Sjabloon

Regels

Richtlijn

Meer informatie

robots.txt Generator: Beheer zoekmachine crawling voor uw site

Leer robots.txt syntax, maak regels voor zoekmachines en AI-crawlers, en vermijd SEO-fouten.

Wat is robots.txt?

robots.txt is een plat tekstbestand dat in de root van een website wordt geplaatst en webcrawlers vertelt welke pagina's ze wel of niet mogen bezoeken. Het volgt het Robots Exclusion Protocol, een standaard sinds 1994.

Veelgestelde vragen