Protokolldateianalyse

Die Logdateianalyse untersucht die Rohdaten der Zugriffsprotokolle eines Webservers, um genau zu sehen, wie Suchmaschinen-Crawler und Shopping-Bots mit einer Website interagieren – welche Seiten sie anfordern, wie oft und ob dabei Fehler auftreten. Für Feed-basierte Kataloge ist dies eine der wenigen Möglichkeiten, zu bestätigen, was Googlebot oder ein Marktplatz-Crawler tatsächlich sieht, anstatt sich auf die Angaben im Feed zu verlassen. Sie unterscheidet sich von den meisten Analysetools, da sie jede Anfrage erfasst, die ein Server empfängt, einschließlich derer von Bots, die in Standard-Traffic-Berichten nicht auftauchen.

Warum die Protokolldateianalyse wichtig ist

Ein Produktfeed kann perfekt strukturiert sein, während die verlinkten Landingpages für Crawler unbemerkt unerreichbar bleiben – blockiert durch eine fehlerhafte robots.txt-Regel, Serverfehler oder Weiterleitungen, die Crawler vorzeitig abbrechen. Die Analyse von Logdateien deckt diese Probleme auf, da sie die tatsächlichen HTTP-Statuscodes und die Crawling-Frequenz anzeigt, die ein Server an einen Bot zurückgibt, unabhängig von den Angaben in Sitemap oder Feed. Dies wirkt sich direkt auf die Performance der organischen Suche aus : Eine Produktseite, die ein Crawler nicht erreichen kann oder bei der wiederholt Fehler auftreten, wird schließlich aus dem Index entfernt, unabhängig davon, wie gut ihr Inhalt optimiert ist. Bei großen Katalogen zeigt die Loganalyse zudem, dass Crawling-Budget verschwendet wird – ein Bot verbringt den Großteil seiner Besuche mit minderwertigen, gefilterten URLs anstatt mit den Produktseiten, die tatsächlich indexiert werden müssen.

Wie die Analyse von Protokolldateien funktioniert

Serverprotokolle erfassen jede Anfrage mit Zeitstempel, anfragendem User-Agent, angeforderter URL und zurückgegebenem Antwortcode. Analysetools filtern diese Rohdaten nach bekannten Crawler-User-Agents (Googlebot, Bingbot und Marktplatz-spezifische Bots) und aggregieren sie zu Mustern: Welche URL-Pfade werden am häufigsten gecrawlt, welche liefern 404- oder 500-Fehler und wie hat sich die Crawling-Frequenz im Laufe der Zeit verändert? Diese Daten werden oft mit Feed-Benchmarking- Ergebnissen verglichen, um festzustellen, ob Crawling-Probleme mit Ablehnungen oder Ranking-Verlusten in bestimmten Produktkategorien korrelieren. Sie fließen als zusätzliche Eingangsgröße neben Klick- und Konversionsdaten in umfassendere Feed -Analyse- Dashboards ein.

Beispiel

<item>
  <g:id>SKU-20956</g:id>
  <title>Merino Wool Hiking Socks - 2 Pack</title>
  <g:link>https://example-shop.com/products/merino-wool-hiking-socks</g:link>
  <g:availability>in stock</g:availability>
</item>

Logdateianalyse einer URL wie der folgenden in link würde zeigen, ob der Googlebot diese Seite tatsächlich erreicht und einen 200 Antwort oder wiederholtes Auftreten einer Weiterleitung oder eines Fehlers, der erklären würde, warum der Eintrag trotz eines gut erstellten Feed-Eintrags nicht gerankt wird.

Verwandte konzepte

Die Analyse von Logdateien ist besonders wertvoll in Kombination mit Feed-Benchmarking , da Crawling-Fehler oft Leistungslücken aufdecken, die Benchmarking allein zwar erkennen, aber nicht diagnostizieren kann. Auch die umfassendere organische Suchanalyse ist wichtig, da die Crawlbarkeit eine Grundvoraussetzung für ein gutes Ranking ist. Integriert in die regelmäßige Feed- Analyse deckt die Logdateianalyse eine Problemkategorie auf – serverseitig, nicht feedseitig –, die sich durch Titel- oder Preisoptimierung allein nicht beheben lässt.