Die Logfile-Analyse untersucht die rohen Zugriffsprotokolle eines Webservers, um genau zu sehen, wie Suchmaschinen-Crawler und Shopping-Bots mit einer Website interagieren – welche Seiten sie anfordern, wie oft und ob dabei Fehler auftreten. Für feedbasierte Kataloge ist sie eine der wenigen Möglichkeiten zu bestätigen, was der Googlebot oder ein Marktplatz-Crawler tatsächlich sieht, statt sich darauf zu verlassen, was laut Feed vorhanden sein sollte. Sie unterscheidet sich von den meisten Analysetools, weil sie jede Anfrage erfasst, die ein Server erhält – auch die von Bots, die im Standard-Traffic-Reporting nie auftauchen.
Warum die Logfile-Analyse wichtig ist
Ein Produktfeed kann perfekt strukturiert sein, während die verlinkten Landingpages für Crawler unbemerkt unerreichbar sind – blockiert durch eine falsch konfigurierte robots.txt-Regel, mit Serverfehlern antwortend oder über Weiterleitungsketten umleitend, bei denen Crawler auf halbem Weg aufgeben. Die Logfile-Analyse deckt diese Probleme auf, weil sie die tatsächlichen HTTP-Statuscodes und die Crawl-Häufigkeit zeigt, die ein Server einem Bot zurückgibt – unabhängig davon, was eine Sitemap oder ein Feed behauptet. Das wirkt sich direkt auf die Leistung in der organischen Suche aus: Eine Produktseite, die ein Crawler nicht erreichen kann oder bei der er wiederholt auf Fehler stößt, fällt irgendwann aus dem Index, egal wie gut ihr Inhalt optimiert ist. Bei großen Katalogen zeigt die Log-Analyse außerdem verschwendetes Crawl-Budget – etwa wenn ein Bot die meisten Besuche auf wenig wertvolle gefilterte URLs statt auf die Produktseiten verwendet, die tatsächlich indexiert werden müssen.
Wie die Logfile-Analyse funktioniert
Serverlogs erfassen jede Anfrage mit Zeitstempel, anfragendem User Agent, angeforderter URL und zurückgegebenem Antwortcode. Tools zur Log-Analyse filtern diese Rohdaten auf bekannte Crawler-User-Agents (Googlebot, Bingbot und marktplatzspezifische Bots) und fassen sie zu Mustern zusammen: welche URL-Pfade am häufigsten gecrawlt werden, welche 404- oder 500-Fehler zurückgeben und wie sich die Crawl-Häufigkeit im Zeitverlauf verändert hat. Diese Daten werden oft mit den Ergebnissen aus dem Feed-Benchmarking verglichen, um zu sehen, ob Crawl-Probleme mit Ablehnungen oder Ranking-Verlusten in bestimmten Produktkategorien zusammenhängen, und sie fließen als zusätzlicher Input neben Klick- und Conversion-Daten in übergreifende Feed-Dashboards für Analytics ein.
Beispiel
<item>
<g:id>SKU-20956</g:id>
<title>Merino Wool Hiking Socks - 2 Pack</title>
<g:link>https://example-shop.com/products/merino-wool-hiking-socks</g:link>
<g:availability>in stock</g:availability>
</item>Eine Logfile-Analyse für eine URL wie die in link würde zeigen, ob der Googlebot diese Seite tatsächlich erreicht und eine 200-Antwort erhält oder wiederholt auf eine Weiterleitung oder einen Fehler stößt – was erklären würde, warum das Listing trotz eines sauber aufgebauten Feed-Eintrags nicht rankt.
Verwandte Begriffe
Die Logfile-Analyse ist am wertvollsten in Kombination mit Feed-Benchmarking, da Crawl-Fehler oft Leistungslücken erklären, die das Benchmarking allein nur aufzeigen, aber nicht diagnostizieren kann, sowie mit übergreifendem Tracking der organischen Suche, da die Erreichbarkeit für Crawler Voraussetzung für jedes Ranking ist. Eingebunden in die regelmäßige Auswertung der Feed-Analytics deckt sie eine Art von Problem auf – serverseitig, nicht feedseitig –, die keine noch so gute Titel- oder Preisoptimierung allein beheben kann.
