robots.txt-Generator: Das Crawlen deiner Website durch Suchmaschinen steuern

Was ist robots.txt?

robots.txt ist eine reine Textdatei im Stammverzeichnis einer Website, die Webcrawlern mitteilt, welche Seiten oder Bereiche sie aufrufen dürfen und welche nicht. Sie folgt dem Robots-Exclusion-Protokoll, einem Standard, der seit 1994 dazu dient, Crawling-Vorgaben an Suchmaschinen-Bots, KI-Crawler und andere automatisierte Agenten zu übermitteln.

Besucht ein Crawler Ihre Website, prüft er zuerst, ob unter ihredomain.com/robots.txt eine robots.txt-Datei vorhanden ist, bevor er Seiten crawlt. Die Datei enthält Anweisungen, die festlegen, welche User-Agents (Crawler) auf welche Pfade zugreifen dürfen. Beachten Sie: robots.txt hat empfehlenden Charakter – gut funktionierende Crawler respektieren sie, doch bösartige Bots können sie vollständig ignorieren.

robots.txt-Syntax

Die robots.txt-Datei verwendet eine einfache, anweisungsbasierte Syntax. Jeder Block beginnt mit einer User-agent-Zeile, gefolgt von einer oder mehreren Regeln:

• User-agent – gibt an, für welchen Crawler die Regeln gelten. Verwenden Sie * für alle Crawler oder einen bestimmten Namen wie Googlebot, Bingbot oder GPTBot
• Disallow – sperrt den Zugriff auf einen bestimmten Pfad oder ein Muster. Disallow: /admin/ verhindert das Crawlen des Admin-Verzeichnisses
• Allow – erlaubt den Zugriff auf einen Pfad ausdrücklich, nützlich, um eine umfassendere Disallow-Regel zu überschreiben. Allow: /admin/public/ würde diesen bestimmten Unterordner freigeben
• Sitemap – gibt die URL Ihrer XML-Sitemap an, damit Crawler alle Ihre Seiten finden. Sitemap: https://example.com/sitemap.xml
• Crawl-delay – schlägt eine Verzögerung in Sekunden zwischen aufeinanderfolgenden Anfragen vor. Nicht alle Crawler unterstützen diese Anweisung (Google ignoriert sie, Bing respektiert sie)

In Disallow und Allow werden Platzhalter unterstützt: * steht für eine beliebige Zeichenfolge und $ für das Ende einer URL. Disallow: /*.pdf$ sperrt zum Beispiel alle URLs, die auf .pdf enden.

Häufige robots.txt-Muster

Hier sind die nützlichsten robots.txt-Konfigurationen für verschiedene Szenarien:

• Alles erlauben – eine leere Disallow-Anweisung (User-agent: * mit Disallow: ) oder gar keine robots.txt erlaubt vollständiges Crawlen
• Alles sperren – Disallow: / verwehrt allen Crawlern den Zugriff auf jede Seite. Nutzen Sie dies für Staging-Umgebungen oder Websites vor dem Launch
• KI-Crawler sperren – richten Sie sich mit User-agent: GPTBot, CCBot, anthropic-ai gefolgt von Disallow: / gezielt an bestimmte KI-Bots, um das Auslesen von Inhalten zu verhindern und zugleich Suchmaschinen zuzulassen
• Nur Google erlauben – kombinieren Sie User-agent: Googlebot mit Allow: / und einem separaten Block für User-agent: * mit Disallow: /
• Admin-Pfade schützen – Disallow: /admin/, /wp-admin/, /api/ oder jedes andere sensible Verzeichnis, um sie aus Suchergebnissen und Crawler-Protokollen herauszuhalten

Häufige Anwendungsfälle

Eine gut konfigurierte robots.txt-Datei erfüllt mehrere wichtige Zwecke bei der Verwaltung einer Website:

• SEO-Optimierung – verhindern Sie das Crawlen von doppelten Inhalten, Paginierungsseiten, Suchergebnisseiten und gefilterten URLs, die Ihr Ranking verwässern könnten
• Scraper blockieren – halten Sie Content-Scraper und KI-Trainingsbots ab, indem Sie deren spezifische User-Agents sperren
• Staging-Umgebungen schützen – sperren Sie alle Crawler auf Staging- und Entwicklungsservern, damit unfertige Inhalte nicht in den Suchergebnissen auftauchen
• Crawl-Budget steuern – bei großen Websites sorgt das Sperren von Seiten mit geringem Wert (Tag-Archive, interne Suchergebnisse, Session-URLs) dafür, dass Suchmaschinen ihr Crawl-Budget auf Ihre wichtigen Seiten verwenden

robots.txt und SEO

robots.txt hat direkten Einfluss darauf, wie Suchmaschinen Ihre Inhalte entdecken und indexieren. Es ist wichtig, ihren Zusammenhang mit SEO zu verstehen:

• Sperren bedeutet nicht Deindexierung – wenn andere Websites auf eine per robots.txt gesperrte Seite verlinken, können Suchmaschinen die URL trotzdem (ohne Inhalt) indexieren. Verwenden Sie stattdessen das noindex-Meta-Tag, um eine Indexierung zu verhindern
• Nehmen Sie stets Ihre Sitemap auf – eine Sitemap-Anweisung hilft Suchmaschinen, alle Ihre Seiten zu entdecken, besonders neue, die noch keine eingehenden Links haben
• Sperren Sie keine CSS- oder JavaScript-Dateien – Suchmaschinen benötigen sie, um Ihre Seiten darzustellen. Werden sie gesperrt, kann das Ihrem Ranking schaden, weil der Crawler das Layout Ihrer Seite nicht versteht
• Häufige Fehler – versehentlich ganze Verzeichnisse zu sperren, robots.txt statt noindex für sensible Seiten zu verwenden oder die robots.txt nach einer Umstrukturierung der Website nicht zu aktualisieren, kann Ihrem SEO schaden

Häufig gestellte Fragen

Ist robots.txt verpflichtend oder nur empfehlend?

robots.txt ist rein empfehlend. Gut funktionierende Crawler wie Googlebot, Bingbot und die meisten seriösen Bots respektieren sie, doch es gibt keine technische Durchsetzung. Bösartige Bots, Scraper und einige KI-Crawler können sie vollständig ignorieren. Nutzen Sie für sensible Inhalte serverseitige Zugriffskontrollen (Authentifizierung, IP-Sperren), anstatt sich allein auf robots.txt zu verlassen.

Wie teste ich meine robots.txt-Datei?

Die Google Search Console bietet einen robots.txt-Tester, der anzeigt, ob bestimmte URLs gesperrt oder erlaubt sind. Sie können auch Online-Validatoren nutzen, die Ihre robots.txt auswerten und das Crawler-Verhalten simulieren. Prüfen Sie, ob wichtige Seiten erreichbar und unwesentliche Seiten gesperrt sind. Überprüfen Sie stets nach dem Bereitstellen von Änderungen.

Respektiert Google Crawl-delay in der robots.txt?

Nein, Google unterstützt die Crawl-delay-Anweisung nicht. Stattdessen bestimmt Google die optimale Crawl-Rate mit eigenen Algorithmen anhand der Antwortzeiten des Servers. Um Googles Crawl-Rate zu steuern, verwenden Sie die Crawl-Rate-Einstellungen in der Google Search Console. Bing respektiert Crawl-delay, nehmen Sie es also auf, wenn Bing-Traffic für Sie wichtig ist.