Loganalyse is de praktijk waarbij de onbewerkte toegangslogboeken van een webserver worden onderzocht om precies te zien hoe zoekmachinecrawlers en shoppingbots met een site interageren: welke pagina's ze opvragen, hoe vaak en of ze onderweg fouten tegenkomen. Voor feedgestuurde catalogi is het een van de weinige manieren om te bevestigen wat Googlebot of een marketplace-crawler daadwerkelijk ziet, in plaats van af te gaan op wat een feed aangeeft dat er zou moeten zijn. Het onderscheidt zich van de meeste analysetools omdat het elke aanvraag vastlegt die een server ontvangt, inclusief die van bots die nooit in standaard verkeersrapportages verschijnen.

Waarom logbestandsanalyse belangrijk is

Een productfeed kan perfect gestructureerd zijn, terwijl de landingspagina's waarnaar deze linkt, stilletjes onbereikbaar zijn voor crawlers — geblokkeerd door een verkeerd geconfigureerde robots.txt-regel, serverfouten of redirects die crawlers halverwege opgeven. Analyse van logbestanden legt deze problemen bloot, omdat het de daadwerkelijke HTTP-statuscodes en crawlfrequentie laat zien die een server aan een bot retourneert, ongeacht wat een sitemap of feed beweert. Dit is direct van belang voor de organische zoekresultaten : een productpagina die een crawler niet kan bereiken of waarop herhaaldelijk fouten optreden, zal uiteindelijk uit de index verdwijnen, ongeacht hoe goed de content is geoptimaliseerd. Bij grote catalogi onthult loganalyse ook verspilling van crawlbudget — een bot besteedt de meeste bezoeken aan URL's met een lage waarde die zijn gefilterd, in plaats van aan de productpagina's die daadwerkelijk geïndexeerd moeten worden.

Hoe logbestandanalyse werkt

Serverlogs registreren elk verzoek met een tijdstempel, de aanvragende user agent, de opgevraagde URL en de geretourneerde responsstatuscode. Loganalysetools filteren deze ruwe data tot bekende crawler user agents (Googlebot, Bingbot en marktplaats-specifieke bots) en aggregeren deze vervolgens tot patronen: welke URL-paden het meest worden gecrawld, welke 404- of 500-fouten opleveren en hoe de crawlfrequentie in de loop van de tijd is veranderd. Deze data wordt vaak vergeleken met resultaten van feedbenchmarking om te zien of crawlproblemen correleren met afwijzingen of rankingdalingen in specifieke productcategorieën. De data wordt ook gebruikt in bredere feedanalyse - dashboards als extra input naast klik- en conversiegegevens.

Voorbeeld

<item>
  <g:id>SKU-20956</g:id>
  <title>Merino Wool Hiking Socks - 2 Pack</title>
  <g:link>https://example-shop.com/products/merino-wool-hiking-socks</g:link>
  <g:availability>in stock</g:availability>
</item>

Logbestandanalyse op een URL zoals die in link Dit zou aantonen of Googlebot deze pagina daadwerkelijk bereikt en een resultaat krijgt. 200 een reactie, of herhaaldelijk een redirect of foutmelding krijgen, wat zou verklaren waarom de vermelding niet rankt ondanks een goed opgebouwde feedvermelding.

Verwante concepten

Logbestandanalyse is het meest waardevol in combinatie met feedbenchmarking , omdat crawl-fouten vaak prestatieverschillen verklaren die benchmarking alleen wel kan signaleren, maar niet diagnosticeren. Ook met bredere tracking van organische zoekresultaten is het waardevol, omdat crawl-toegankelijkheid een voorwaarde is voor ranking. Geïntegreerd in de reguliere feedanalyse , spoort het een categorie problemen op – aan de serverzijde, niet aan de feedzijde – die met geen enkele titel- of prijsoptimalisatie op zichzelf opgelost kunnen worden.