Was ist eine Logfile-Analyse? (Sehen, was Google wirklich sieht)
Während Tools wie Google Analytics Ihnen zeigen, was Ihre menschlichen Besucher tun, bleibt eine wichtige Besuchergruppe oft im Dunkeln: die Suchmaschinen-Crawler. Um zu verstehen, wie der Googlebot Ihre Seite *wirklich* sieht und erlebt, benötigen Sie eine Logfile-Analyse.
Die schnelle Definition
Eine Logfile-Analyse (auch Logdatei-Analyse) ist ein technischer SEO-Prozess, bei dem die rohen Protokolldateien (Logfiles) eines Webservers ausgewertet werden. Diese Dateien protokollieren jede einzelne Anfrage an den Server – von jedem Nutzer und jedem Bot. Im SEO-Kontext nutzt man sie primär, um das genaue Verhalten von Suchmaschinen-Crawlern (wie dem Googlebot) auf der eigenen Website zu analysieren.
Die ungeschminkte Wahrheit über Ihre Website
Logfile-Daten lügen nicht. Sie sind die einzige 100% genaue Quelle darüber, was auf Ihrem Server passiert, und bieten entscheidende Einblicke, die Analytics nicht liefern kann:
- Echtes Crawl-Verhalten sehen: Sie sehen exakt, wie oft der Googlebot kommt, welche Seiten er besucht und in welcher Reihenfolge.
- Crawl-Budget optimieren: Sie erkennen, ob Googlebot seine wertvolle Zeit mit unwichtigen Seiten (z.B. alten URLs, Filter-Kombinationen, Admin-Bereichen) verschwendet, anstatt Ihre wichtigen Inhalte zu crawlen.
- Indexierungsprobleme aufdecken: Findet der Bot Ihre neuen Seiten schnell? Ignoriert er wichtige Bereiche? Die Logs zeigen es.
- Technische Fehler (aus Bot-Sicht) finden: Sie sehen jeden Statuscode, den der Googlebot erhält. Findet er viele 404-Fehler (Seite nicht gefunden) oder Serverfehler (5xx)? Diese Crawling-Fehler können Ihr Ranking massiv beeinträchtigen.
- Sicherheitslücken & Bad Bots: Sie können “böse” Bots identifizieren, die Ihre Seite übermäßig crawlen (Scraper) oder nach Sicherheitslücken suchen.
Logfile-Analyse vs. Google Analytics: Der wichtige Unterschied
Man darf diese beiden Datenquellen nicht verwechseln:
- Google Analytics:
- Basiert auf JavaScript (Client-Seite).
- Misst **menschliche Besucher**, die JavaScript aktiviert haben.
- Sieht keine Bots (wie Googlebot).
- Zeigt das Nutzerverhalten (Verweildauer, Klicks etc.).
- Logfile-Analyse:
- Basiert auf Server-Protokollen (Server-Seite).
- Misst **jede einzelne Anfrage** an den Server.
- Sieht alle Bots (Googlebot, Bingbot, Bad Bots) und alle Nutzer.
- Zeigt das Crawl-Verhalten und Server-Antworten (Statuscodes).
Wie führt man eine Logfile-Analyse durch? (Checkliste)
- Zugriff erhalten: Sie benötigen die rohen Server-Logdateien. Diese erhalten Sie von Ihrem Hoster (bei All-Inkl. z.B. oft per FTP-Zugang im /logs/ Verzeichnis).
- Daten analysieren (Tools nutzen): Logfiles sind riesige, unformatierte Textdateien. Sie benötigen ein Tool, um sie lesbar zu machen.
- Spezialisierte SEO-Tools: Der **Screaming Frog SEO Log File Analyser** ist ein beliebtes und leistungsstarkes Werkzeug dafür.
- Andere Tools: Dienste wie Loggly, Splunk oder selbst-gehostete Lösungen (ELK Stack) sind möglich, aber technisch komplexer.
- Worauf achten? (Die Analyse):
- **Crawl-Frequenz:** Wie oft kommt der Googlebot?
- **Crawl-Volumen:** Wie viele URLs crawlt er pro Tag?
- **Statuscodes:** Wie ist das Verhältnis von erfolgreichen (200) zu fehlerhaften (404, 5xx) Aufrufen durch den Bot?
- **Gecrawlte URLs:** Crawlt der Bot Ihre wichtigsten Seiten? Oder verschwendet er Zeit mit unwichtigen Parameter-URLs oder alten Seiten?
- **Bot-Verhalten:** Kommt der Googlebot-Smartphone (Mobile-First) oder der Desktop-Bot?
Profi-Tipp: Kombinieren Sie Logfiles mit Ihren SEO-Daten
Die Magie entsteht, wenn Sie Logfile-Daten mit anderen Daten kombinieren. Beispiel: Sie haben eine wichtige Landingpage, die laut Google Analytics kaum Traffic erhält. Die Logfile-Analyse zeigt aber, dass der Googlebot diese Seite auch fast nie crawlt. Das Problem ist also nicht der Inhalt selbst, sondern dass die Seite nicht ausreichend intern verlinkt ist und der Bot sie nicht findet!
Zusammenfassung: Die Logfile-Analyse ist eine fortschrittliche technische SEO-Methode, die das Verhalten von Suchmaschinen-Crawlern (wie dem Googlebot) auf Ihrer Website offenlegt. Sie ist die einzige genaue Datenquelle, um die Crawl-Frequenz, das Crawl Budget und technische Fehler aus Bot-Sicht zu analysieren und zu optimieren – Probleme, die in Tools wie Google Analytics unsichtbar bleiben.
