Bevor ein Suchmaschinen-Crawler wie der Googlebot Ihre Website besucht, hält er an der digitalen "Haustür" an und liest das "Hausregel"-Schild. Dieses Schild ist die robots.txt-Datei. Sie ist eine der grundlegendsten und wichtigsten Dateien für das technische SEO.
Die schnelle Definition
Wir haben Ihre Mitbewerber im Blick.
Wettbewerbsanalyse gehört bei uns zu jedem Projekt.
Die robots.txt ist eine einfache Textdatei, die im Hauptverzeichnis (Root) einer Domain liegt. Sie gibt Suchmaschinen-Crawlern Anweisungen, welche Bereiche (Dateien oder Verzeichnisse) der Website sie nicht crawlen (besuchen) dürfen. Sie ist Teil des "Robots Exclusion Protocol" (REP).
Crawl-Steuerung & Schutz von Inhalten
+150 %
mehr Anrufe über Google in 6 Monaten · Fallstudie lokaler Handwerksbetrieb
Die Hauptfunktion der robots.txt ist es, das Verhalten von Bots zu steuern. Dies hat mehrere wichtige Vorteile:
- Verwaltung des Crawl Budgets: Suchmaschinen weisen jeder Website begrenzte Ressourcen zu. Indem Sie unwichtige Bereiche (z. B. Admin-Login, interne Suchergebnisseiten, Warenkörbe) blockieren, verhindern Sie, dass Googlebot seine Zeit dort verschwendet, und lenken ihn stattdessen auf Ihre wichtigen Inhalte.
- Verhinderung der Indexierung irrelevanter Seiten: Indem Sie das Crawlen von unwichtigen Seiten verhindern, reduzieren Sie die Wahrscheinlichkeit, dass diese im Index landen und z. B. als Duplicate Content oder Thin Content gewertet werden.
- Schutz sensibler Bereiche: Sie können Verzeichnisse mit privaten oder internen Informationen für Bots sperren (Achtung: Dies ist kein echter Sicherheitsschutz!).
- Blockieren von "Bad Bots": Sie können (eingeschränkt) versuchen, bekannte schädliche Bots vom Zugriff auf Ihre Seite auszuschließen.
Wie sieht eine robots.txt-Datei aus? (Beispiele)
Die Datei ist sehr einfach aufgebaut und besteht hauptsächlich aus zwei Befehlen:
- User-agent: Definiert, für welchen Bot die Regel gilt (z. B. Googlebot, Bingbot oder * für alle Bots).
- Disallow: Verbietet den Zugriff auf das angegebene Verzeichnis oder die Datei.
- Allow: Erlaubt explizit den Zugriff (wird seltener benötigt, kann aber nützlich sein, um Ausnahmen zu definieren).
Beispiel 1: Allen Bots alles erlauben (Standard)
Primärquellen und Aktualitätscheck
Die Definition ist redaktionell eingeordnet. Plattform- und Richtlinienangaben können sich ändern; prüfen Sie die aktuelle Originalquelle, bevor Sie eine Maßnahme freigeben.
- Google Search Central: Inhalte für Menschen (zuletzt redaktionell geprüft: 21.10.2026)
- Google Search Central: Entwicklerleitfaden (zuletzt redaktionell geprüft: 21.10.2026)
- Google Search Central: Strukturierte Daten (zuletzt redaktionell geprüft: 21.10.2026)