Как оценить эффективность рекламы (и не только) в магазинах торговой сети. Офлайн А/Б-тестирование от Х5

Всем нужен data-driven

Подход data-driven позволяет топ-менеджерам и сотрудникам компаний принимать взвешенные решения с упором на данные, а не только на интуицию и личный опыт. Так, на основе статистики продаж продуктовые супермаркеты, магазины электроники и строительные базы решают, какой товар выложить на полки, а какой — представить исключительно на онлайн-витрине. Аналогичным образом планируют ассортимент, определяют розничные цены и эффективность акций.

В отдельных случаях data-driven подход увеличивает прибыль на 15–25%, однако внедрить его под силу далеко не каждому бизнесу. Необходимо подготовить ИТ-инфраструктуру для сбора данных, наладить процессы их очистки и разметки, внедрить аналитические системы. Также важно найти квалифицированных дата-сайентистов. У небольшого производства может не быть необходимых для этого ресурсов, да и не все крупные компании реализуют эту возможность.

Довольно показательный пример в сфере ритейла — работа с POSM. Это — световые панели, промостойки, наклейки, упаковка и другие графические материалы, способствующие продвижению бренда. Поставщики тратят на них огромные суммы, но почти никто не оценивает эффективность вносимых изменений (пилотов) . Большинство брендов предпочитает следовать привычным практикам и полагаться на прошлый опыт.

Чтобы помочь партнерам принимать взвешенные решения, мы разработали собственную методологию офлайн A/B-тестирования — Test&Learn. С её помощью можно оценить любой пилот в наших магазинах: от размещения POSM и изменения выкладки до установки систем видеоаналитики полочного пространства. На основе этой информации бизнесу проще принять решение о судьбе пилота: неэффективный – свернуть, а перспективный – масштабировать на всю торговую сеть. Пока что мы решаем задачи партнеров в формате ad hoc, но вскоре представим сервис в виде приложения.

Как это работает

Сперва стоит кратко пояснить, как проходит запуск пилотных проектов внутри торговой сети. Все начинается с выдвижения гипотезы и определения факторов, влияющих на покупки — для этих целей можно использовать деревья принятия решений или другие аналитические инструменты.

Скажем, производитель молочной продукции планирует поменять дизайн упаковки. В этом случае гипотеза может звучать следующим образом: «Изменение внешнего вида товара приведет к росту продаж категории на X%». Другой пример — производитель чая проанализировал покупательские корзины и определил сопутствующие категории товаров для своего продукта. В этом контексте он может строить гипотезы, связанные с размещением товаров на полках и проведением партнерских промо.

Когда гипотеза сформирована, её согласуют менеджеры нашей торговой сети, и здесь есть два рабочих сценария.

Первый. Поставщик обратился до пилота, тогда мы самостоятельно подбираем контрольные и тестовые торговые точки, определяем оптимальные временные рамки для эксперимента. Далее, в течение 2–3 месяцев проводим тесты и формируем отчет, на основе которого партнер принимает бизнес-решение, связанное с перспективами проекта.

Второй. Поставщик обратился уже после того, как провел пилот самостоятельно. В этом случае мы анализируем продажи продукции на торговых площадях и собираем необходимую статистику.

Оптимальный сценарий зависит от эффекта, который желает проследить компания. На задачах, где важно отловить даже небольшой рост ключевых метрик (единицы процентов) , предпочтителен первый вариант, иначе подойдет схема с оценкой результатов постфактум.

Как проходит оценка пилота

Первый шаг. Мы выбираем тестовую и контрольную группы торговых точек. Их размер, проходимость, количество товаров, а также доход должны быть сопоставимы. Дополнительно учитываем местоположение и целевую аудиторию.

Второй шаг. Сравниваем покупательские метрики в обеих группах во время пилота и до него по чековым транзакциям и картам лояльности. Ключевые параметры — продажи в рублях, штуках и литрах, средняя цена, количество чеков, число клиентов, частота покупок конкретного продукта и его доля от общего объема товаров в категории. Метрики для продукции, подверженной сезонности, мы сравниваем с аналогичным периодом прошлого года или выводим нормированное значение.

Третий шаг. Мы составляем отчет с оценкой значимости результатов пилота. Она зависит от трех факторов: а) объема категории, б) количества магазинов и в) длительности периода. Результат считаем статистически значимым при доверительном интервале, не пересекающем ноль. Например, если продажи категории увеличились в диапазоне от +1% до 5% с уровнем доверия 95% — то, эффект статистически значим. Если изменения колеблются от -1% до 5%, то статистическая значимость не достигнута и стоит продлить пилот.

Что мы будем делать дальше

Пока мы реализуем отчеты Test&Learn в формате ad hoc. Консультант погружается в задачу поставщика и составляет бриф, аналитики в ручном режиме собирают и готовят данные для отчета с графиками и схемами. Но уже в этом году мы планируем запустить отдельный программный продукт — с ним пользователи смогут работать, не обращаясь к посреднику со стороны X5 Group.

Система в автоматическом режиме позволит выбирать магазины для теста и контроля по заданным критериям: покупательским метрикам, группам товаров, географии, уровню ассортимента. Результаты будут представлены в виде графиков и дашбордов по аналогии с отчетами Dialog X5 Insights, которые уже используют наши партнеры. При желании данные можно будет выгрузить в формате электронной таблицы.

Совместно с Ассоциацией «Маркетинг в ритейле» POPAI мы будем развивать аналитические инструменты, повышающие эффективность рекламных размещений, и уже расширяем спектр типовых и нестандартных кейсов. Мы также планируем масштабировать аналитическое решение на другие отрасли.

Мария Лучина, NA Analyst, X5 Group Mars Pet Nutrition: "Благодаря решению Test&Learn мы смогли оценить эффективность перезапуска продукта, его вклад в рост категории. Сравнили динамику ключевых метрик по продуктовым группам, оценили переключения и изменения показателей в разрезах промо/регулярных продаж."

«В результате анализа открыли для себя новые возможности для развития, направления для изменений. В ходе проекта мы столкнулись с некоторыми ограничениями по подбору контрольной группы, несмотря на это, команда Dialog. X5 смогла предоставить альтернативный вариант анализа данных» — говорит Мария. Это позволило компании в кратчайшие сроки достичь нужного результата. «Платформа Test&Learn имеет огромный потенциал, в дальнейшем планируем использовать её функционал и работать в коллаборации с Dialog. X5 для принятия решений на основании данных, реализации новых проектов и роста категории кормов для животных» — уточняет она.

Полина Шраер, Старший менеджер по исследованиям DX Insights, PepsiCo: "В PepsiCo мы стремимся быть новаторами в инструментах коммуникации как с потребителями в целом, так и с покупателями в розничных сетях. Для этого мы, в том числе, активно используем POSM-материалы и различное оборудование в торговых точках, которое призвано акцентировать внимание гостей сети на наши бренды."

«В конце 2021 у нас появился именно такой проект, для полной реализации которого, нам необходимо было убедиться в эффективности и прибыльности нового инструмента. Именно поэтому после завершения пилота – размещения оборудования в некоторых точках сети, мы первым делом обратились к партнёрам из Dialog. X5, которые смогли предоставить нам в рамках отчета Test&Learn подробный анализ и сформулировать вывод по тому, какое влияние тестируемое оборудование оказало как на наши бренды, так и на релевантную категорию в конкретных точках продаж. Такая аналитика позволяет нам не только выстроить грамотный подход к бюджетированию трейд-маркетинговых инструментов, минимизируя риски и увеличивая потенциал нашего взаимодействия с покупателем, но и укреплять наши отношения с клиентом (сетью) через честный и открытый подход к совместному развитию категории» — рассказывает Полина.

Александр Платонов, Категорийный менеджер Henkel: "В современно мире тот, кто имеет больше информации, тот и занимает лидирующую позицию. Однако, на сегодняшний день важно иметь не только данные всего мира, но и получать их в максимально прозрачном и доступном виде."

«Платформа Dialog. X5 предоставляет данные в разрезах, которые позволяют посмотреть на клиента с новой стороны. В нашем случае в рамках Test&Learn было интересно посмотреть на запуск новинок, переключаются ли покупатели с других товаров категории или приходят специально за эксклюзивным товаром. Платформа продолжает непрерывно развиваться, что позволяет нам наращивать аналитическую мощь высокими темпами. В 2022 ждем новых сильных анализов и проектов» — говорит Александр.

Элина Лопатюк, Руководитель продукта Test&Learn Dialog. X5: "Мы рады, что Test&Learn открывает перед партнерами новые возможности для планирования и анализа рекламных активностей, а также формирования еще более успешных бизнес-кейсов."

«Оценка эффективности маркетинговых инициатив в магазинах — одна из ключевых задач, которая волнует всех участников FMCG-рынка. Так как Департамент Монетизации X5 Group реализует комплексный подход к решению задач бизнеса и формирует предложения для партнеров на основании лучших практик и потребностей ритейла, запуск нового продукта Test&Learn по оценке успешности инстор тестов является важной и неотъемлемой частью развития платформы Dialog.X5» — уточняет Элина.