Email рассылки в режиме "бета-тестирования"

При тестах важную роль играет объём выборки. По мнению Криса Бэггота (эксперта в области email маркетинга, автора книги «Email маркетинг работает»), имеет смысл делать выборки не меньше 250 подписчиков - тогда результаты будут более менее достоверными. При этом тестировать лучше не больше 10% базы - чтобы самое эффективное содержание смогла оценить большая часть аудитории.

Давайте посчитаем, какого размера должен быть список рассылки (именно список - то есть тот сегмент базы подписчиков, которому вы единовременно намереваетесь разослать email кампанию), чтобы провести корректное А/В тестирование?

Если А = В = 250, и при этом А + В = 500 < 10% списка, то весь список рассылки должен включать не меньше 5 000 email адресов.

Возьмём «облегчённый» вариант:

А = В = 100,  А + В = 200 < 20%. Тогда размер списка - 1 000 подписчиков.

Если у вас наберётся столько, всё ок. Если нет - самое время обратиться к более практичному варианту. Назовём его тестированием рассылок в режиме бета. Что это такое?

Вы не разбиваете свой список на мифические А и В - вы просто работаете с тем, что имеете, со своей таблицей, где сведены все ключевые показатели эффективности ваших рассылок.

Вариант 1: email кампании не повторяются, вы каждый раз шлёте подписчикам новое содержание

Допустим, со временем у вас начинает складываться такая картина:

Дата	Кампания	Кол-во писем	Кд	Кпр	Ккл	Котп	Примечание
16.11.2011	Акция: Не упустите шанса порадовать своего любимца!	654	0,98	0,17	0,08	0,002	Просмотры средние. Клики нужно увеличивать
21.11.2011	От здоровья до красоты один шаг	682	0,99	0,11	0,03	0,001	Не было призыва к действию. Просмотры упали
02.12.2011	А Вы знаете, как правильно выбрать корм своему любимцу?	703	0,97	0,21	0,03	0	Хорошие просмотры. Угадал с темой. Над кликами поработать

Из этой таблицы вы ясно видите, что тема письма в кампании № 3 отработала лучше всего, зато в кампании № 1 больше всего кликов по ссылкам.

Стало быть, тема письма с вопросом для вашей аудитории оказалась наиболее эффективной. А расположение и вид ссылки лучше копировать с кампании № 1:

Пользуйтесь! Только не забывайте проверять свои предположения. Возможно, такое количество кликов в кампании № 1 - результат простого стечения обстоятельств. Но если в новой кампании результат при аналогичном размещении ссылки повторится, то это точно следует взять на заметку.

Вариант 2: email кампании повторяются, новым подписчикам вы рассылаете одно и то же содержание,
а также иногда делаете повторные рассылки своего предложения по всей базе

Допустим, после первой рассылки своей кампании вы получили такие результаты:

Дата	Кампания	Кол-во писем	Кд	Кпр	Ккл	Котп	Примечание
22.11.2011	Светильники в тест - бесплатно	80	0,99	0,2	0,1	0	Просмотры для сегмента слабые

Просмотры явно слабые - значит, над темой письма стоит ещё поработать. Меняем её:

Дата	Кампания	Кол-во писем	Кд	Кпр	Ккл	Котп	Примечание
22.11.2011	Светильники в тест - бесплатно	80	0,99	0,2	0,1	0	Просмотры для сегмента слабые
18.01.2012	(Имя подписчика), предоставляем светильник в тест	76	0,99	0,4	0,17	0	Просмотры хорошие. По кликам - примерно одинаково

Кпр увеличился, но всё ещё не так хорош, как хотелось бы. Снова ставим эксперимент:

Дата	Кампания	Кол-во писем	Кд	Кпр	Ккл	Котп	Примечание
22.11.2011	Светильники в тест - бесплатно	80	0,99	0,2	0,1	0	Просмотры для сегмента слабые
18.01.2012	(Имя подписчика), предоставляем светильник в тест	76	0,99	0,4	0,17	0	Просмотры хорошие. По кликам - примерно одинаково
01.02.2012	(Имя подписчика), отдадим светильник в хорошие руки...протестируете?	82	0,98	0,58	0,29	0	Очень хорошие просмотры. Над кликами поработать

Кпр = 0,58 - бинго! То, что нужно (список рассылки невелик, так что здесь смело можно ставить перед собой цели охватить за раз больше его половины). Однако Ккл хотелось бы и побольше. Значит, начинаем работать и с ним: меняем формулировку гиперссылки, размещаем несколько ссылок, корректируем текст письма и т.д.

Думаю, мысль ясна: вы проводите рассылку, анализируете результаты и делаете выводы. Эти выводы вы стараетесь использовать дальше.

Общие рекомендации

- Ведите записи: что и как вы меняете, каких результатов ожидаете и чего достигли на самом деле, что на это могло повлиять и т.д. Графа «примечание» здесь подходит лучше всего.

- Тестируйте не больше 1-2 параметров за раз.

Например, поменяйте тему письма, добавьте глагол в ссылке и следите, как изменяются ваши Кпр и Ккл. Если вы будете менять больше параметров одновременно, то рискуете сильно усложнить себе жизнь.

К примеру, вы поменяли тему письма, изрядно перелопатили содержание и, к тому же, скорректировали сегмент подписчиков для рассылки. Показатели эффективности кампании выросли - всё здорово. Но что конкретно их увеличило? Вы оказываетесь в ситуации какого-то индейского шамана: он точно не знает, что именно в его обряде вызывает дождь - и наряду с действенными заклинаниями вынужден произносить абракадабру. Последовательность в вашем тестировании поможет убрать как можно такой «абракадабры» и оставить только настоящую магию.

Совет

Используйте свои лучшие наработки, только когда это действительно нужно.

Предположим, 2 месяца вы рассылаете подписчикам статьи вашего блога, «прикармливая» их для будущей продажи. Каждый раз вы выжимаете из списка рассылки всё, что можете - тащите людей на сайт чуть ли не силой, заставляете внимательно читать ваши посты. Возникает вопрос - зачем?

Ваши приёмы успеют приесться подписчикам до того, как вам что-то действительно от них понадобится. Вы захотите им что-то продать, провести акцию, позвать на семинар - и в очередной раз используете свой «наилипчайший» заголовок, свои суперкликабельные картинки и ссылки. Но к вашей манере привлекать внимание у подписчиков уже выработается своеобразный «иммунитет» - эффект будет в разы слабее, чем мог бы быть... если бы вы 2 месяца до этого не истощали свои возможности для удивления и действенного призыва.

Приберегайте для значимых предложений действительно лучшее  содержание (чтобы его нащупать, как раз используйте «бета-тестирование»).

Наращиваем базу

Чем больше подписчиков, тем больше свободы для манёвра. Если у вас 1 000 человек в базе, вы можете попробовать А/В тестирование. При 10 000 подписчиков смело проводите многопараметрические проверки.

И, конечно, не забывайте, что логика и здравый смысл дают многое, однако только в сочетании со статистикой и аналитикой вы получите по-настоящему замечательный результат.