In dit artikel
Wat is robots.txt?
robots.txt is een plat tekstbestand dat in de root van een website wordt geplaatst en webcrawlers vertelt welke pagina's ze wel of niet mogen bezoeken. Het volgt het Robots Exclusion Protocol, een standaard sinds 1994.
Wanneer een crawler uw site bezoekt, controleert deze eerst het robots.txt bestand. Het bevat richtlijnen die specificeren welke user agents welke paden mogen bezoeken. robots.txt is adviserend — welwillende crawlers respecteren het, maar kwaadwillige bots kunnen het negeren.
robots.txt syntax
Het robots.txt bestand gebruikt een eenvoudige richtlijngebaseerde syntax:
- User-agent — specificeert welke crawler de regels betreffen. Gebruik * voor alle crawlers
- Disallow — blokkeert toegang tot een specifiek pad
- Allow — staat expliciet toegang toe, nuttig om een bredere Disallow te overschrijven
- Sitemap — specificeert de URL van uw XML-sitemap
- Crawl-delay — suggereert een vertraging tussen opeenvolgende verzoeken
Wildcards worden ondersteund: * komt overeen met elke tekenreeks en $ met het einde van een URL.
Veelvoorkomende robots.txt patronen
De meest nuttige robots.txt configuraties:
- Alles toestaan — een lege Disallow-richtlijn staat volledige crawling toe
- Alles blokkeren — Disallow: / blokkeert alle crawlers
- AI-crawlers blokkeren — target specifieke AI-bots met User-agent: GPTBot
- Alleen Google toestaan — combineer blokken voor Googlebot en andere agents
- Admin-paden beschermen — Disallow: /admin/, /api/ om gevoelige mappen te beschermen
Probeer gratis — geen aanmelding vereist
Genereer robots.txt →Veelvoorkomende toepassingen
Een goed geconfigureerd robots.txt bestand dient meerdere doelen:
- SEO-optimalisatie — voorkom crawling van dubbele content en paginering
- Scrapers blokkeren — ontmoedig content scrapers en AI-trainingsbots
- Staging-omgevingen beschermen — blokkeer alle crawlers op staging-servers
- Crawlbudget beheren — blokkeer pagina's met lage waarde op grote sites
robots.txt en SEO
robots.txt heeft directe invloed op hoe zoekmachines uw content ontdekken:
- Blokkeren betekent niet de-indexeren — gebruik de noindex meta tag
- Altijd uw sitemap opnemen — voeg een Sitemap-richtlijn toe
- Blokkeer geen CSS of JavaScript — zoekmachines hebben deze nodig voor rendering
- Veelgemaakte fouten — per ongeluk hele mappen blokkeren kan uw SEO schaden
Veelgestelde vragen
Is robots.txt verplicht of slechts adviserend?
robots.txt is volledig adviserend. Gebruik server-side toegangscontroles voor gevoelige content.
Hoe test ik mijn robots.txt bestand?
Google Search Console biedt een robots.txt tester. U kunt ook online validators gebruiken.
Respecteert Google Crawl-delay in robots.txt?
Nee, Google ondersteunt Crawl-delay niet. Gebruik de crawlsnelheidsinstellingen in Google Search Console. Bing respecteert Crawl-delay wel.