L'analisi dei file di log è la pratica di esaminare i log di accesso grezzi di un server web per vedere esattamente come i crawler dei motori di ricerca e i bot degli acquisti interagiscono con un sito: quali pagine richiedono, con quale frequenza e se incontrano errori lungo il percorso. Per i cataloghi basati su feed, è uno dei pochi modi per confermare ciò che Googlebot o un crawler di un marketplace vedono effettivamente, invece di affidarsi a ciò che un feed afferma dovrebbe essere presente. Si distingue dalla maggior parte degli strumenti di analisi perché cattura ogni richiesta ricevuta da un server, comprese quelle provenienti dai bot che non compaiono mai nei report di traffico standard.

Perché l'analisi dei file di registro è importante

Un feed di prodotti può essere strutturato alla perfezione, mentre le landing page a cui rimanda sono silenziosamente irraggiungibili per i crawler: bloccate da una regola robots.txt configurata in modo errato, che restituiscono errori del server o che reindirizzano attraverso catene di pagine che i crawler abbandonano a metà percorso. L'analisi dei file di log è ciò che rivela questi problemi, perché mostra i codici di stato HTTP effettivi e la frequenza di scansione che un server restituisce a un bot, indipendentemente da quanto dichiarato da una sitemap o da un feed. Questo ha un impatto diretto sulle prestazioni di ricerca organica : una pagina di prodotto irraggiungibile per un crawler o che genera ripetutamente errori finirà per essere rimossa dall'indice, a prescindere da quanto sia ottimizzato il suo contenuto. Per i cataloghi di grandi dimensioni, l'analisi dei log rivela anche lo spreco del budget di scansione: un bot dedica la maggior parte delle sue visite a URL filtrati di scarso valore invece che alle pagine di prodotto che necessitano effettivamente di essere indicizzate.

Come funziona l'analisi dei file di log

I log del server registrano ogni richiesta con un timestamp, l'agente utente richiedente, l'URL richiesto e il codice di risposta restituito. Gli strumenti di analisi dei log filtrano questi dati grezzi per individuare gli agenti utente dei crawler noti (Googlebot, Bingbot e bot specifici dei marketplace), quindi li aggregano in modelli: quali percorsi URL vengono scansionati più frequentemente, quali restituiscono errori 404 o 500 e come la frequenza di scansione è cambiata nel tempo. Questi dati vengono spesso confrontati con i risultati del benchmarking dei feed per verificare se i problemi di scansione sono correlati a rifiuti di approvazione o cali di posizionamento in specifiche categorie di prodotti e alimentano dashboard di analisi dei feed più ampie come ulteriore input insieme ai dati sui clic e sulle conversioni.

Esempio

<item>
  <g:id>SKU-20956</g:id>
  <title>Merino Wool Hiking Socks - 2 Pack</title>
  <g:link>https://example-shop.com/products/merino-wool-hiking-socks</g:link>
  <g:availability>in stock</g:availability>
</item>

Analisi del file di log su un URL come quello in link mostrerebbe se Googlebot sta effettivamente raggiungendo questa pagina e ottenendo un 200 risposta, oppure il ritrovarsi ripetutamente di fronte a un reindirizzamento o a un errore che spiegherebbe perché l'inserzione non si posiziona in alto nei risultati di ricerca nonostante un feed ben strutturato.

Concetti correlati

L'analisi dei file di log è particolarmente utile se abbinata al benchmarking dei feed , poiché gli errori di scansione spesso spiegano le lacune prestazionali che il benchmarking da solo può solo segnalare, non diagnosticare, e se integrata con un monitoraggio più ampio della ricerca organica , dato che l'accessibilità alla scansione è un prerequisito fondamentale per il posizionamento. Integrata nella normale analisi dei feed , permette di individuare una tipologia di problema – lato server, non lato feed – che nessuna ottimizzazione del titolo o del prezzo può risolvere da sola.