Анализ лог-файлов — это изучение необработанных журналов доступа веб-сервера, позволяющее точно увидеть, как поисковые роботы и боты торговых площадок взаимодействуют с сайтом: какие страницы они запрашивают, как часто и сталкиваются ли при этом с ошибками. Для каталогов на основе фидов это один из немногих способов убедиться, что на самом деле видит Googlebot или робот маркетплейса, а не полагаться на то, что, согласно фиду, должно там быть. Этот метод отличается от большинства инструментов аналитики, поскольку фиксирует каждый запрос, полученный сервером, включая запросы ботов, которые никогда не попадают в стандартные отчёты о трафике.
Почему анализ лог-файлов важен
Товарный фид может быть идеально структурирован, а целевые страницы, на которые он ссылается, при этом могут быть незаметно недоступны для поисковых роботов: заблокированы ошибочным правилом robots.txt, возвращать ошибки сервера или вести через цепочки перенаправлений, на середине которых роботы сдаются. Именно анализ лог-файлов выявляет такие проблемы, поскольку показывает фактические коды HTTP-ответов и частоту сканирования, которые сервер отдаёт боту, независимо от того, что заявлено в карте сайта или фиде. Это напрямую влияет на эффективность в органическом поиске: страница товара, до которой робот не может добраться или на которой он постоянно получает ошибку, со временем выпадет из индекса, как бы хорошо ни был оптимизирован её контент. Для больших каталогов анализ логов также выявляет нерациональный расход краулингового бюджета — когда бот тратит большую часть визитов на малоценные URL с фильтрами вместо страниц товаров, которые действительно нужно проиндексировать.
Как работает анализ лог-файлов
Серверные логи фиксируют каждый запрос с отметкой времени, user agent запрашивающей стороны, запрошенным URL и возвращённым кодом ответа. Инструменты анализа логов отфильтровывают из этих необработанных данных запросы известных роботов (Googlebot, Bingbot и ботов конкретных маркетплейсов), а затем объединяют их в закономерности: какие пути URL сканируются чаще всего, какие возвращают ошибки 404 или 500 и как частота сканирования менялась со временем. Эти данные часто сопоставляют с результатами бенчмаркинга фида, чтобы понять, связаны ли проблемы со сканированием с отклонениями товаров или падением позиций в определённых категориях, а также используют в общих дашбордах аналитики фида как ещё один источник данных наряду с кликами и конверсиями.
Пример
<item>
<g:id>SKU-20956</g:id>
<title>Merino Wool Hiking Socks - 2 Pack</title>
<g:link>https://example-shop.com/products/merino-wool-hiking-socks</g:link>
<g:availability>in stock</g:availability>
</item>Анализ лог-файлов для URL, подобного указанному в link, покажет, действительно ли Googlebot добирается до этой страницы и получает ответ 200 или раз за разом натыкается на перенаправление или ошибку, — это объяснило бы, почему объявление не ранжируется, несмотря на хорошо составленную запись в фиде.
Связанные понятия
Анализ лог-файлов наиболее ценен в сочетании с бенчмаркингом фида, поскольку ошибки сканирования часто объясняют разрывы в эффективности, которые бенчмаркинг сам по себе может лишь обозначить, но не диагностировать, а также с более широким отслеживанием органического поиска, ведь доступность для сканирования — обязательное условие для ранжирования вообще. Включённый в регулярный обзор аналитики фида, он выявляет класс проблем — на стороне сервера, а не фида, — которые никакая оптимизация названий или цен сама по себе не исправит.
