Logbestandanalyse (log file analysis) is het onderzoeken van de ruwe toegangslogs van een webserver om precies te zien hoe crawlers van zoekmachines en shoppingbots met een site omgaan — welke pagina's ze opvragen, hoe vaak, en of ze onderweg fouten tegenkomen. Voor feedgedreven catalogi is het een van de weinige manieren om te bevestigen wat Googlebot of een crawler van een marktplaats werkelijk ziet, in plaats van te vertrouwen op wat er volgens een feed zou moeten staan. Het onderscheidt zich van de meeste analysetools doordat het elk verzoek vastlegt dat een server ontvangt, ook die van bots die nooit in standaard verkeersrapportages verschijnen.
Waarom logbestandanalyse belangrijk is
Een productfeed kan perfect gestructureerd zijn, terwijl de landingspagina's waar die naar linkt ongemerkt onbereikbaar zijn voor crawlers — geblokkeerd door een verkeerd ingestelde regel in robots.txt, met serverfouten als antwoord, of via omleidingsketens waarbij crawlers halverwege afhaken. Logbestandanalyse brengt deze problemen aan het licht, omdat het de daadwerkelijke HTTP-statuscodes en crawlfrequentie laat zien die een server aan een bot teruggeeft, los van wat een sitemap of feed beweert. Dat heeft directe invloed op de prestaties in organische zoekresultaten: een productpagina die een crawler niet kan bereiken of waar hij herhaaldelijk een fout krijgt, verdwijnt uiteindelijk uit de index, hoe goed de content ook is geoptimaliseerd. Bij grote catalogi laat loganalyse ook verspilling van crawlbudget zien — een bot die de meeste bezoeken besteedt aan gefilterde URL's met weinig waarde in plaats van aan de productpagina's die echt geïndexeerd moeten worden.
Hoe logbestandanalyse werkt
Serverlogs registreren elk verzoek met een tijdstempel, de user agent die het verzoek doet, de opgevraagde URL en de teruggegeven responscode. Tools voor loganalyse filteren deze ruwe data op bekende user agents van crawlers (Googlebot, Bingbot en bots van specifieke marktplaatsen) en voegen die samen tot patronen: welke URL-paden het vaakst worden gecrawld, welke 404's of 500's teruggeven, en hoe de crawlfrequentie in de loop van de tijd is veranderd. Deze data wordt vaak vergeleken met resultaten van feedbenchmarking om te zien of crawlproblemen samenhangen met afkeuringen of rankingdalingen in specifieke productcategorieën, en vormt in bredere dashboards voor feed-analytics een extra input naast klik- en conversiedata.
Voorbeeld
<item>
<g:id>SKU-20956</g:id>
<title>Merino Wool Hiking Socks - 2 Pack</title>
<g:link>https://example-shop.com/products/merino-wool-hiking-socks</g:link>
<g:availability>in stock</g:availability>
</item>Logbestandanalyse van een URL zoals die in link laat zien of Googlebot deze pagina daadwerkelijk bereikt en een 200-respons krijgt, of herhaaldelijk op een omleiding of fout stuit die zou verklaren waarom de vermelding niet rankt ondanks een goed opgebouwde feedvermelding.
Gerelateerde begrippen
Logbestandanalyse is het waardevolst in combinatie met feedbenchmarking, omdat crawlfouten vaak prestatieverschillen verklaren die benchmarking alleen kan signaleren maar niet diagnosticeren, en met bredere tracking van organische zoekresultaten, omdat bereikbaarheid voor crawlers een voorwaarde is om überhaupt te ranken. Als vast onderdeel van de reguliere review van feed-analytics vangt het een categorie problemen op — aan de serverkant, niet aan de feedkant — die geen enkele optimalisatie van titels of prijzen op zichzelf kan oplossen.
