Il bot filtering è il processo che identifica ed esclude il traffico non umano (crawler, scraper, script di monitoraggio e bot automatici) dai dati di analytics e di engagement. Nella gestione dei feed garantisce che le metriche di clic, impression e conversioni riflettano il comportamento reale degli acquirenti e non richieste automatiche che colpiscono pagine prodotto o endpoint dei feed. Senza di esso, i dati di performance possono essere distorti al punto da falsare le decisioni su prezzi, offerte e su quali prodotti meritino più budget di marketing.
Perché il bot filtering è importante nella gestione dei feed
I feed di prodotto e le relative landing page ricevono ogni tipo di traffico automatico: crawler dei motori di ricerca che indicizzano le pagine, bot dei comparatori di prezzo che fanno scraping dei cataloghi, scanner di sicurezza che sondano gli endpoint e veri e propri scraper malevoli che raccolgono prezzi e dati di inventario per conto dei concorrenti. Se questo traffico non viene escluso dagli analytics, i numeri del conversion tracking si gonfiano con sessioni che non avrebbero mai potuto convertire, i segnali per le offerte vengono distorti e il quadro sullo stato del crawling su cui i team fanno affidamento diventa inaffidabile. I retailer che rinunciano al bot filtering rischiano di scambiare il rumore delle macchine per domanda reale, riallocando il budget o declassando SKU in base a numeri che fin dall'inizio non corrispondevano a persone reali.
Come funziona il bot filtering
Il bot filtering avviene di solito su più livelli. Lato server, i sistemi esaminano gli schemi delle richieste (stringhe user-agent, frequenza delle richieste, header mancanti, reputazione dell'IP) per distinguere crawler noti e client automatici sospetti dalle sessioni di browser autentiche. Le piattaforme di analytics applicano a loro volta le proprie euristiche, confrontando il comportamento delle sessioni con le firme di bot conosciute. Nelle attività con un uso intensivo dei feed, il bot filtering viene spesso abbinato alla log file analysis: esaminare i log grezzi del server permette ai team di vedere esattamente quali crawler accedono a quali URL di prodotto, verificare che i bot di shopping raggiungano correttamente le pagine e intercettare l'attività degli scraper che sfugge ai filtri standard degli analytics. Bot sempre più sofisticati complicano il lavoro: alcuni imitano la navigazione umana così bene che le regole di filtro vanno continuamente messe a punto, e una logica di rilevamento non aggiornata può diventare essa stessa un bersaglio. È anche per questo che il bot filtering viene spesso discusso insieme alla gestione delle vulnerabilità zero-day: una falla nel modo in cui un livello di filtro elabora le richieste può essere sfruttata prima che venga rilasciata una correzione.
Esempio: segnali di bot filtering nel contesto di un feed di prodotto
<item>
<g:id>SKU-88231</g:id>
<title>Insulated Steel Water Bottle - 750ml, Matte Black</title>
<link>https://example-shop.com/products/insulated-steel-bottle-black</link>
<g:price>24.90 USD</g:price>
<g:availability>in stock</g:availability>
<custom_label_0>bot_traffic_flag:excluded</custom_label_0>
<custom_label_1>verified_session_ratio:0.94</custom_label_1>
</item>I feed non contengono di per sé la logica di bot filtering, che risiede negli analytics e nell'infrastruttura server, ma molti team taggano i prodotti con custom label che riflettono segnali di qualità delle sessioni, come la quota di traffico verificato, così che le regole di offerta e di merchandising a valle possano tenere conto di quanto dell'engagement registrato per un prodotto sia affidabile.
Concetti correlati
Il bot filtering è più utile se abbinato ai sistemi che consumano i dati che protegge. Dati in ingresso puliti contano direttamente per il conversion tracking, perché altrimenti le sessioni gonfiate dai bot verrebbero conteggiate come conversioni mancate, abbassando la performance apparente; inoltre il bot filtering dipende dalla log file analysis per individuare in primo luogo quali richieste escludere. Con bot sempre più sofisticati, il filtering si interseca anche con temi di sicurezza come l'esposizione alle vulnerabilità zero-day, poiché i sistemi di rilevamento sono a loro volta software che può essere sondato e sfruttato.
