Was ist ein Meta-Robots-Tag? (Anweisungen für Suchmaschinen-Crawler)
Während eine XML-Sitemap Suchmaschinen-Crawlern zeigt, welche Seiten sie besuchen *sollen*, gibt es auch einen Weg, ihnen zu sagen, was sie tun oder lassen sollen, *nachdem* sie eine Seite gefunden haben. Das wichtigste Werkzeug hierfür ist das Meta-Robots-Tag.
Die schnelle Definition
Das Meta-Robots-Tag ist ein HTML-Tag, das im <head>-Bereich einer Webseite platziert wird. Es gibt Suchmaschinen-Crawlern (wie dem Googlebot) spezifische Anweisungen, wie sie diese einzelne Seite behandeln sollen, insbesondere ob sie die Seite **indexieren** (in den Suchindex aufnehmen) oder den **Links** auf der Seite folgen dürfen.
Der wahre Mehrwert: Gezielte Steuerung Ihrer Indexierung
Die korrekte Verwendung von Meta-Robots-Tags ist ein entscheidender Bestandteil des technischen SEO. Sie gibt Ihnen die Kontrolle darüber, wie Google Ihre Website-Inhalte darstellt und verwaltet:
- Duplicate Content vermeiden: Sie können Google anweisen, unwichtige Seiten (z.B. interne Suchergebnisseiten, Admin-Logins, “Danke”-Seiten nach einem Formular) nicht zu indexieren. Das hilft, Probleme mit Duplicate Content zu verhindern.
- Index-Hygiene (Pruning): Sie können Seiten von geringer Qualität oder ohne Mehrwert aus dem Index fernhalten. Das hilft Google, sich auf Ihre wichtigsten, hochwertigen Inhalte zu konzentrieren, was die Gesamtbewertung Ihrer Website verbessern kann.
- Crawl-Budget-Schonung (indirekt): Obwohl Bots die Seite erst crawlen müssen, um das Tag zu lesen, hilft die
noindex-Anweisung, dass Google langfristig keine Ressourcen mehr für die Indexierung dieser Seite aufwendet. - Kontrolle über Link-Weitergabe: Mit
nofollowkönnen Sie verhindern, dass die Autorität (Link Equity) Ihrer Seite auf die verlinkten Seiten übertragen wird.
Die wichtigsten Anweisungen (Direktiven) im Meta-Robots-Tag
Ein Meta-Robots-Tag sieht im HTML-Code so aus:
<meta name="robots" content="[ANWEISUNG1], [ANWEISUNG2]">
Die wichtigsten Anweisungen sind:
index: (Standard) Erlaubt der Suchmaschine, die Seite zu indexieren. Muss nicht extra angegeben werden, da es die Standardeinstellung ist.noindex: Weist die Suchmaschine an, diese Seite nicht in den Suchergebnissen anzuzeigen. Dies ist die mächtigste und am häufigsten genutzte Anweisung zur Indexierungssteuerung.follow: (Standard) Erlaubt dem Crawler, den Links auf dieser Seite zu folgen, um neue Seiten zu entdecken und Link Equity weiterzugeben.nofollow: Weist den Crawler an, den Links auf dieser Seite nicht zu folgen und keine Link Equity zu vererben.
Häufige und nützliche Kombinationen
<meta name="robots" content="noindex, follow">- Was es bedeutet: “Liebes Google, zeige diese Seite bitte nicht in den Suchergebnissen an, aber folge bitte allen Links auf dieser Seite, um die verlinkten Seiten zu finden.”
- Mehrwert/Anwendung: Sehr nützlich für Archivseiten, Tag-Seiten oder Paginierungsseiten (Seite 2, 3…), die selbst keinen Ranking-Wert haben, aber auf wichtige Inhalte verlinken.
<meta name="robots" content="index, nofollow">- Was es bedeutet: “Du darfst diese Seite indexieren, aber folge bitte keinem der Links auf dieser Seite.”
- Mehrwert/Anwendung: Seltener genutzt. Sinnvoll für Seiten, auf denen Sie viele externe Links haben, für deren Qualität Sie nicht bürgen möchten (z.B. alte Gästebücher oder Kommentarbereiche, falls nicht `rel=”ugc”` verwendet wird).
<meta name="robots" content="noindex, nofollow">- Was es bedeutet: “Ignoriere diese Seite komplett. Nimm sie nicht in den Index auf und folge auch keinen Links.”
- Mehrwert/Anwendung: Der “radikalste” Ausschluss. Nützlich für Admin-Login-Seiten, Warenkörbe, interne Suchergebnisseiten oder “Danke”-Seiten.
Profi-Tipp: Meta-Robots-Tag vs. robots.txt
Verwechseln Sie diese beiden nicht! Das ist ein entscheidender Unterschied:
- robots.txt: Verbietet das **Crawlen** (Betreten der Seite). Der Bot liest die Seite gar nicht erst. Wenn die Seite aber von extern verlinkt ist, kann sie trotzdem indexiert werden (Google kennt dann nur die URL, aber nicht den Inhalt).
- Meta-Robots-Tag (
noindex): Erlaubt das **Crawlen**, verbietet aber die **Indexierung** (Aufnahme in die Bibliothek). Der Bot *muss* die Seite besuchen, um das `noindex`-Tag lesen zu können. Dies ist der sicherste und von Google empfohlene Weg, um eine Seite aus dem Index zu entfernen oder fernzuhalten.
Faustregel: Blockieren Sie eine Seite, die Sie de-indexieren möchten, **niemals** in der `robots.txt`, sonst kann Google das `noindex`-Tag nicht lesen!
Zusammenfassung: Das Meta-Robots-Tag ist eine HTML-Anweisung im <head> einer Seite, die Crawlern Befehle zur Indexierung (`index`/`noindex`) und Linkverfolgung (`follow`/`nofollow`) gibt. Es ist das wichtigste Werkzeug, um Duplicate Content zu managen und die Aufnahme von Seiten in den Google-Index gezielt zu steuern.