Projekt anfragen
TeamKontaktProjekt anfragen

SEO-Wissen · verständlich erklärt

User-Agent

Was ist ein User-Agent? Erfahren Sie, wie dieser String Browser & Bots (wie Googlebot) identifiziert & warum er für SEO (robots.txt, Logfiles) wichtig ist.

Jedes Mal, wenn ein Browser oder ein Suchmaschinen-Bot eine Webseite anfordert, stellt er sich dem Server vor. Er übermittelt eine Art digitalen Ausweis, der ihm sagt, wer er ist und was er kann. Dieser "Ausweis" ist der User-Agent.

Die schnelle Definition

Wir haben Ihre Mitbewerber im Blick.

Wettbewerbsanalyse gehört bei uns zu jedem Projekt.

Ein User-Agent ist eine kurze Textzeichenfolge (ein "String"), die ein Webbrowser oder Crawler bei jeder Anfrage an einen Webserver mitsendet. Dieser String identifiziert die Software, die die Anfrage stellt (z. B. Chrome, Firefox, Googlebot) und oft auch das Betriebssystem (z. B. Windows, Android).

Warum User-Agents für SEO entscheidend sind

+150 %

mehr Anrufe über Google in 6 Monaten · Fallstudie lokaler Handwerksbetrieb

Für die technische Suchmaschinenoptimierung ist der User-Agent ein fundamentales Werkzeug zur Steuerung und Analyse:

  • Bot-Identifizierung: Es ist die primäre Methode, um einen Googlebot von einem Bingbot oder einem normalen Nutzer zu unterscheiden.
  • robots.txt -Steuerung: Die robots.txt-Datei nutzt den User-Agent (z. B. User-agent: Googlebot), um spezifische Crawling-Regeln für einzelne Bots festzulegen.
  • Logfile-Analyse : Bei der Analyse von Server-Logdateien ist der User-Agent-String der Schlüssel, um herauszufinden, wie oft Googlebot welche Seiten crawlt und ob "Bad Bots" Ihre Seite belasten.
  • Auslieferung angepasster Inhalte: Der Server kann den User-Agent nutzen, um unterschiedliche Inhalte auszuliefern. Legitim: Dynamic Rendering (dem Googlebot eine gerenderte Version, dem Nutzer eine JS-Version zeigen).
  • Verboten (Black Hat): Cloaking (dem Googlebot absichtlich andere Inhalte als dem Nutzer zeigen, um Rankings zu manipulieren).

Beispiele für User-Agent-Strings

Ein User-Agent-String kann sehr lang und komplex sein:

Beispiel: Googlebot (Smartphone) Mozilla/5.0 (Linux. Android 6.0.1. Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible. Googlebot/2.1. +http://www.google.com/bot.html)

Beispiel: Chrome (Desktop auf Windows) Mozilla/5.0 (Windows NT 10.0. Win64. x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36

Profi-Tipp: User-Agents können gefälscht werden!

Verlassen Sie sich niemals darauf, dass ein Besucher, der den User-Agent "Googlebot" sendet, auch wirklich der Googlebot ist. Sogenannte "Bad Bots" oder Scraper fälschen ihren User-Agent sehr häufig, um sich als Google zu tarnen und von der Website nicht blockiert zu werden.

Die einzige sichere Methode, den echten Googlebot zu verifizieren (z. B. bei einer Logfile-Analyse), ist ein Reverse-DNS-Lookup. Dabei wird die IP-Adresse des anfragenden Bots überprüft, um sicherzustellen, dass sie tatsächlich zu einer Google-Domain (wie .googlebot.com) gehört.

Primärquellen und Aktualitätscheck

Die Definition ist redaktionell eingeordnet. Plattform- und Richtlinienangaben können sich ändern; prüfen Sie die aktuelle Originalquelle, bevor Sie eine Maßnahme freigeben.

Passend zum Thema: Google Ads mit klaren nächsten Schritten für Ihre Website.