Il filtraggio dei bot è il processo di identificazione ed esclusione del traffico non umano (crawler, scraper, script di monitoraggio e bot automatizzati) dai dati di analisi e di coinvolgimento. Nella gestione dei feed, garantisce che le metriche relative a clic, impressioni e conversioni riflettano il reale comportamento degli acquirenti, anziché le richieste automatizzate che raggiungono le pagine prodotto o gli endpoint dei feed. Senza di esso, i dati sulle prestazioni potrebbero essere distorti al punto da compromettere le decisioni relative a prezzi, offerte e a quali prodotti meritano una maggiore spesa di marketing.

Perché il filtraggio dei bot è importante per la gestione dei feed

I feed di prodotto e le relative landing page sono soggetti a ogni tipo di traffico automatizzato: crawler dei motori di ricerca che indicizzano le pagine, bot di comparazione prezzi che estraggono dati dai cataloghi, scanner di sicurezza che analizzano gli endpoint e persino scraper dannosi che raccolgono dati su prezzi e inventario per conto della concorrenza. Se questo traffico non viene filtrato dagli strumenti di analisi, i dati di conversione vengono gonfiati da sessioni che non hanno mai avuto la possibilità di convertirsi, i segnali di offerta vengono distorti e il quadro dello stato di salute del crawling su cui i team fanno affidamento diventa inaffidabile. I rivenditori che non applicano il filtro anti-bot rischiano di confondere il rumore generato dalle macchine con una domanda reale, riallocando il budget o declassando i prodotti in base a numeri che non corrispondono a persone reali.

Come funziona il filtraggio dei bot

Il filtraggio dei bot avviene solitamente su più livelli. Lato server, i sistemi esaminano i modelli di richiesta (stringhe user-agent, frequenza delle richieste, intestazioni mancanti, reputazione IP) per separare i crawler noti e i client automatizzati sospetti dalle sessioni di navigazione legittime. Le piattaforme di analisi applicano le proprie euristiche, confrontando il comportamento delle sessioni con le firme dei bot noti. Nelle operazioni con un elevato flusso di dati, il filtraggio dei bot è spesso abbinato all'analisi dei file di log : l'analisi dei log grezzi del server consente ai team di vedere esattamente quali crawler accedono a quali URL di prodotto, confermare che i bot di shopping raggiungano correttamente le pagine e individuare attività di scraping che sfuggono ai filtri di analisi standard. I bot sempre più sofisticati complicano ulteriormente la situazione: alcuni imitano la navigazione umana in modo così fedele che le regole di filtraggio necessitano di continui aggiornamenti, e la logica di rilevamento non corretta può a sua volta diventare un bersaglio. Questo è uno dei motivi per cui il filtraggio dei bot viene spesso discusso insieme alla gestione delle vulnerabilità zero-day : una falla nel modo in cui un livello di filtraggio elabora le richieste può essere sfruttata prima che venga rilasciata una correzione.

Esempio: segnali di filtraggio del bot nel contesto di un feed di prodotti

<item>
  <g:id>SKU-88231</g:id>
  <title>Insulated Steel Water Bottle - 750ml, Matte Black</title>
  <link>https://example-shop.com/products/insulated-steel-bottle-black</link>
  <g:price>24.90 USD</g:price>
  <g:availability>in stock</g:availability>
  <custom_label_0>bot_traffic_flag:excluded</custom_label_0>
  <custom_label_1>verified_session_ratio:0.94</custom_label_1>
</item>

I feed non contengono di per sé una logica di filtraggio dei bot, che risiede negli strumenti di analisi e nell'infrastruttura server. Tuttavia, molti team etichettano i prodotti con etichette personalizzate che riflettono segnali di qualità della sessione, come i rapporti di traffico verificato, in modo che le regole di offerta e di merchandising successive possano tenere conto di quanto sia affidabile l'interazione registrata con un prodotto.

Concetti correlati

Il filtraggio dei bot è più efficace se abbinato ai sistemi che utilizzano i dati che protegge. Un input pulito è fondamentale per il monitoraggio delle conversioni, poiché altrimenti un numero elevato di sessioni di bot verrebbe conteggiato come conversioni fallite, compromettendo le prestazioni apparenti. Inoltre, l'analisi dei file di log è essenziale per identificare le richieste da escludere. Con l'aumentare della sofisticatezza dei comportamenti dei bot, il filtraggio si interseca anche con problematiche di sicurezza come l'esposizione a vulnerabilità zero-day, dato che gli stessi sistemi di rilevamento sono software che possono essere sondati e sfruttati.