L'analisi dei file di log è la pratica di esaminare i log di accesso grezzi di un server web per vedere esattamente come i crawler dei motori di ricerca e i bot di shopping interagiscono con un sito: quali pagine richiedono, con quale frequenza e se incontrano errori lungo il percorso. Per i cataloghi basati sui feed è uno dei pochi modi per verificare cosa vedono davvero Googlebot o il crawler di un marketplace, invece di affidarsi a ciò che il feed dice dovrebbe esserci. Si distingue dalla maggior parte degli strumenti di analisi perché registra ogni richiesta ricevuta dal server, comprese quelle dei bot che non compaiono mai nei normali report sul traffico.
Perché l'analisi dei file di log è importante
Un feed di prodotto può essere strutturato alla perfezione mentre le landing page a cui rimanda sono silenziosamente irraggiungibili per i crawler: bloccate da una regola robots.txt configurata male, che restituiscono errori del server o che passano per catene di redirect che i crawler abbandonano a metà strada. L'analisi dei file di log è ciò che porta alla luce questi problemi, perché mostra i codici di stato HTTP effettivi e la frequenza di scansione che il server restituisce a un bot, indipendentemente da ciò che dichiarano una sitemap o un feed. Questo incide direttamente sulle performance della ricerca organica: una pagina prodotto che un crawler non riesce a raggiungere o su cui riceve ripetutamente errori finirà per uscire dall'indice, per quanto ben ottimizzati siano i suoi contenuti. Per i grandi cataloghi, l'analisi dei log rivela anche lo spreco di crawl budget: un bot che spende la maggior parte delle visite su URL filtrati di scarso valore invece che sulle pagine prodotto che hanno davvero bisogno di essere indicizzate.
Come funziona l'analisi dei file di log
I log del server registrano ogni richiesta con un timestamp, lo user agent richiedente, l'URL richiesto e il codice di risposta restituito. Gli strumenti di analisi dei log filtrano questi dati grezzi riducendoli agli user agent di crawler noti (Googlebot, Bingbot e bot specifici dei marketplace), poi li aggregano in pattern: quali percorsi URL vengono scansionati di più, quali restituiscono errori 404 o 500 e come è cambiata nel tempo la frequenza di scansione. Questi dati vengono spesso confrontati con i risultati del benchmarking del feed per capire se i problemi di scansione sono correlati a rifiuti o cali di ranking su specifiche categorie di prodotto, e confluiscono nelle dashboard di analisi del feed come ulteriore input accanto ai dati su clic e conversioni.
Esempio
<item>
<g:id>SKU-20956</g:id>
<title>Merino Wool Hiking Socks - 2 Pack</title>
<g:link>https://example-shop.com/products/merino-wool-hiking-socks</g:link>
<g:availability>in stock</g:availability>
</item>L'analisi dei file di log su un URL come quello in link mostrerebbe se Googlebot raggiunge davvero questa pagina e ottiene una risposta 200, oppure se incontra ripetutamente un redirect o un errore che spiegherebbe perché l'inserzione non si posiziona nonostante una voce del feed ben costruita.
Concetti correlati
L'analisi dei file di log dà il meglio se abbinata al benchmarking del feed, perché gli errori di scansione spiegano spesso divari di performance che il benchmarking da solo può solo segnalare, non diagnosticare, e a un monitoraggio più ampio della ricerca organica, dato che l'accessibilità per i crawler è un prerequisito per posizionarsi. Integrata nella revisione periodica delle analisi del feed, intercetta una categoria di problemi (lato server, non lato feed) che nessuna ottimizzazione di titoli o prezzi può risolvere da sola.
