Bot-Filterung ist der Prozess, nicht-menschlichen Traffic – Crawler, Scraper, Monitoring-Skripte und automatisierte Bots – zu erkennen und aus Analyse- und Engagement-Daten auszuschließen. Im Feed-Management sorgt sie dafür, dass Klick-, Impressions- und Conversion-Kennzahlen echtes Käuferverhalten abbilden und nicht automatisierte Anfragen, die auf Produktseiten oder Feed-Endpunkte treffen. Ohne Bot-Filterung können Leistungsdaten so stark verzerrt werden, dass Entscheidungen über Preise, Gebote und die Frage, welche Produkte mehr Marketingbudget verdienen, verfälscht werden.
Warum Bot-Filterung für das Feed-Management wichtig ist
Produktfeeds und ihre Landingpages werden von unterschiedlichstem automatisiertem Traffic angesteuert: Suchmaschinen-Crawler, die Seiten indexieren, Preisvergleichs-Bots, die Kataloge auslesen, Sicherheitsscanner, die Endpunkte abtasten, und eindeutig bösartige Scraper, die Preis- und Bestandsdaten für Wettbewerber abgreifen. Wird dieser Traffic nicht aus der Analyse herausgefiltert, werden die Zahlen des Conversion-Trackings durch Sitzungen aufgebläht, die nie konvertieren konnten, Gebotssignale werden verzerrt, und das Bild der Crawl-Gesundheit, auf das sich Teams verlassen, wird unzuverlässig. Händler, die auf Bot-Filterung verzichten, riskieren, maschinelles Rauschen für echte Nachfrage zu halten – und Budgets umzuverteilen oder SKUs herabzustufen, gestützt auf Zahlen, hinter denen nie echte Menschen standen.
Wie Bot-Filterung funktioniert
Bot-Filterung findet meist auf mehreren Ebenen statt. Serverseitig prüfen Systeme Anfragemuster – User-Agent-Strings, Anfragehäufigkeit, fehlende Header, IP-Reputation –, um bekannte Crawler und verdächtige automatisierte Clients von echten Browser-Sitzungen zu trennen. Analyseplattformen setzen darauf eigene Heuristiken und gleichen das Sitzungsverhalten mit bekannten Bot-Signaturen ab. In feedintensiven Umgebungen wird Bot-Filterung häufig mit Logfile-Analyse kombiniert: Die Auswertung roher Server-Logs zeigt Teams genau, welche Crawler welche Produkt-URLs aufrufen, bestätigt, dass Shopping-Bots die Seiten korrekt erreichen, und deckt Scraper-Aktivitäten auf, die an Standard-Analysefiltern vorbeirutschen. Immer ausgefeiltere Bots erschweren das – manche imitieren menschliches Surfverhalten inzwischen so genau, dass Filterregeln ständig nachjustiert werden müssen, und ungepatchte Erkennungslogik kann selbst zum Angriffsziel werden. Auch deshalb wird Bot-Filterung oft gemeinsam mit dem Umgang mit Zero-Day-Schwachstellen diskutiert: Ein Fehler in der Art, wie eine Filterebene Anfragen verarbeitet, kann ausgenutzt werden, bevor ein Fix ausgeliefert ist.
Beispiel: Bot-Filter-Signale im Kontext eines Produktfeeds
<item>
<g:id>SKU-88231</g:id>
<title>Insulated Steel Water Bottle - 750ml, Matte Black</title>
<link>https://example-shop.com/products/insulated-steel-bottle-black</link>
<g:price>24.90 USD</g:price>
<g:availability>in stock</g:availability>
<custom_label_0>bot_traffic_flag:excluded</custom_label_0>
<custom_label_1>verified_session_ratio:0.94</custom_label_1>
</item>Feeds enthalten selbst keine Bot-Filterlogik – diese liegt in der Analyse- und Serverinfrastruktur –, aber viele Teams versehen Produkte mit Custom Labels, die Signale zur Sitzungsqualität wie den Anteil verifizierten Traffics abbilden. So können nachgelagerte Gebots- und Merchandising-Regeln berücksichtigen, wie vertrauenswürdig das erfasste Engagement eines Produkts ist.
Verwandte Begriffe
Bot-Filterung entfaltet ihren größten Nutzen im Zusammenspiel mit den Systemen, die die von ihr geschützten Daten verwenden. Saubere Eingangsdaten sind für das Conversion-Tracking unmittelbar wichtig, da aufgeblähte Bot-Sitzungen sonst als ausgebliebene Conversions gezählt würden und die scheinbare Leistung drücken. Zugleich ist sie auf die Logfile-Analyse angewiesen, um überhaupt zu erkennen, welche Anfragen ausgeschlossen werden müssen. Da Bots immer raffinierter agieren, berührt die Filterung auch Sicherheitsthemen wie Zero-Day-Schwachstellen, denn die Erkennungssysteme sind selbst Software, die ausgespäht und ausgenutzt werden kann.
