Анализ лог-файлов — это практика изучения необработанных журналов доступа веб-сервера, чтобы точно определить, как поисковые роботы и боты для онлайн-покупок взаимодействуют с сайтом — какие страницы они запрашивают, как часто и сталкиваются ли они с ошибками в процессе. Для каталогов, управляемых фидами, это один из немногих способов подтвердить, что именно видит Googlebot или робот-поисковик торговой площадки, а не полагаться на то, что, по утверждению фида, должно там быть. Он отличается от большинства аналитических инструментов тем, что фиксирует каждый запрос, получаемый сервером, включая запросы от ботов, которые никогда не отображаются в стандартных отчетах о трафике.

Почему важен анализ лог-файлов

Фид товаров может быть идеально структурирован, но страницы, на которые он ссылается, могут быть недоступны для поисковых роботов — заблокированы неправильно настроенным правилом robots.txt, возвращать ошибки сервера или перенаправляться через цепочки, от которых роботы отказываются на полпути. Анализ лог-файлов выявляет эти проблемы, поскольку он показывает фактические коды состояния HTTP и частоту сканирования, которые сервер возвращает боту, независимо от того, что указано в карте сайта или фиде. Это напрямую влияет на эффективность органического поиска : страница товара, до которой робот не может добраться или на которой постоянно возникают ошибки, в конечном итоге будет исключена из индекса независимо от того, насколько хорошо оптимизирован ее контент. Для больших каталогов анализ логов также выявляет неэффективное использование бюджета сканирования — бот тратит большую часть своих посещений на малоценные отфильтрованные URL-адреса вместо страниц товаров, которые действительно нуждаются в индексации.

Как работает анализ лог-файлов

В журналах сервера регистрируется каждый запрос с указанием времени, запрашивающего пользовательского агента, запрошенного URL-адреса и возвращенного кода ответа. Инструменты анализа журналов фильтруют эти необработанные данные, выделяя известные пользовательские агенты поисковых роботов (Googlebot, Bingbot и роботы, специфичные для маркетплейсов), а затем агрегируют их по шаблонам: какие URL-адреса индексируются чаще всего, какие возвращают ошибки 404 или 500, и как менялась частота индексации с течением времени. Эти данные часто сравниваются с результатами сравнительного анализа фидов , чтобы определить, коррелируют ли проблемы с индексацией с отклонениями или падением позиций в рейтинге по конкретным категориям товаров, и используются в качестве дополнительного источника данных для более широких панелей аналитики фидов наряду с данными о кликах и конверсиях.

Пример

<item>
  <g:id>SKU-20956</g:id>
  <title>Merino Wool Hiking Socks - 2 Pack</title>
  <g:link>https://example-shop.com/products/merino-wool-hiking-socks</g:link>
  <g:availability>in stock</g:availability>
</item>

Анализ лог-файлов по URL-адресу, подобному тому, что указан в link Это покажет, действительно ли Googlebot достигает этой страницы и получает доступ к ней. 200 ответ, или неоднократное перенаправление или ошибка, которые объясняют, почему объявление не ранжируется, несмотря на хорошо составленную запись в фиде.

Связанные концепции

Анализ лог-файлов наиболее ценен в сочетании с бенчмаркингом фидов , поскольку ошибки сканирования часто объясняют пробелы в производительности, которые один только бенчмаркинг может лишь выявить, но не диагностировать, а также в сочетании с более широким отслеживанием органического поиска , поскольку доступность результатов сканирования является необходимым условием для ранжирования вообще. Включенный в обычный анализ фидов , он выявляет категорию проблем — на стороне сервера, а не фида — которые никакая оптимизация заголовков или цен сама по себе не может исправить.